Restdiagnostik in MCMC-basierten Regressionsmodellen

21

Ich habe kürzlich begonnen, Regressionsmischmodelle im Bayes'schen Rahmen unter Verwendung eines MCMC-Algorithmus (Funktion MCMCglmm in R) anzupassen.

Ich glaube, ich habe verstanden, wie man die Konvergenz des Schätzprozesses diagnostiziert (Kurve, Geweke-Plot, Autokorrelation, posteriore Verteilung ...).

Eines der Dinge, die mir im Bayes'schen Rahmen auffallen, ist, dass viel Aufwand für diese Diagnostik aufgewendet zu werden scheint, während sehr wenig für die Überprüfung der Residuen des angepassten Modells getan zu werden scheint. Beispielsweise existiert in MCMCglmm die Funktion residual.mcmc (), ist jedoch noch nicht implementiert (dh return: "Residuen, die für MCMCglmm-Objekte noch nicht implementiert sind"; dieselbe Geschichte für predict.mcmc ()). Es scheint auch in anderen Paketen zu fehlen, und allgemeiner wird es in der Literatur, die ich gefunden habe, wenig diskutiert (abgesehen von DIC, das auch ziemlich stark diskutiert wird).

Kann mir jemand nützliche Hinweise geben und im Idealfall R-Code, mit dem ich spielen oder den ich ändern könnte?

Danke vielmals.

r bayesian mixed-model mcmc residuals Rossinante
quelle
Gute Frage. Ich mag Andrew Gelmans Papier mit Cosma Shalizi über Bayesian Model Checking.
David J. Harris

Antworten:

7

Ich denke, die Verwendung des Begriffs Residuum entspricht nicht der Bayes'schen Regression. Denken Sie daran, dass in frequentistischen Wahrscheinlichkeitsmodellen die Parameter als feststehende schätzbare Größen betrachtet werden und der Datengenerierungsmechanismus ein zufälliges Wahrscheinlichkeitsmodell für beobachtete Daten aufweist. Für Bayesianer werden die Parameter von Wahrscheinlichkeitsmodellen als variabel betrachtet, und die festen Daten aktualisieren unsere Überzeugung darüber, was diese Parameter sind. Wenn Sie also die Varianz der beobachteten minus angepassten Werte in einem Regressionsmodell berechnet haben , wurde das beobachtetDie Komponente hätte eine Varianz von 0, während die angepasste Komponente als Funktion der posterioren Wahrscheinlichkeitsdichte für die Modellparameter variieren würde. Dies ist das Gegenteil von dem, was Sie aus dem Modell der frequentistischen Regression ableiten würden. Ich denke, wenn man daran interessiert wäre, die Wahrscheinlichkeitsannahmen ihres Bayes'schen Regressionsmodells zu überprüfen, hätte ein einfaches QQ-Diagramm der posterioren Dichte von Parameterschätzungen (geschätzt aus unserer MCMC-Stichprobe) gegenüber einer Normalverteilung eine diagnostische Aussagekraft, die mit der Analyse von Residuen (oder Pearson-Residuen) vergleichbar ist für nichtlineare Verknüpfungsfunktionen).

AdamO
quelle
1
Das ist eine gute Antwort. Möglicherweise gibt es noch Antworten, die nützliche Bayes'sche Konstrukte ergeben, die aus dem beobachteten minus angepassten Residuum berechnet wurden, aber dieses sollte sicherlich nicht herabgestuft worden sein.
Ely
3
Es könnte auch klärenswert sein, dass Sie in der Bayes'schen Einstellung nicht wirklich "angepasste" Werte haben. Sie können den hinteren Mittelwert für eine bestimmte beobachtete Eingabe berechnen, um den maximalen hinteren Schätzwert für den erwarteten Wert der Zielvariablen an dieser Eingabe zu erhalten. Dies würde jedoch alles auf Punktschätzungen reduzieren, was normalerweise nicht erwünscht ist, wenn Sie bayesianische Folgerungen durchführen.
Ely
2
@EMS alle davon sind sinnvolle Residuen. Nur weil man ein Bayesianer ist, heißt das noch lange nicht, dass man nicht überprüfen kann, ob sich die Annahmen in den Daten widerspiegeln.
Glen_b -Reinstate Monica
1
Für eine genaue wahrscheinlichkeitsabhängige Folgerung (Normalitätsannahmen vorhanden) unter den Frequentisten wären "Residuen" in Wiederholungen des Studienversuchs bedingt unabhängig von dem "angepassten Wert" (oder dem bedingten Mittelwert). In der Bayes-Welt sind Daten nicht zufällig. Was wäre also bedingt unabhängig von was?
AdamO
1
E[Y.|X]XY.