Warum darf sich ein Bayesianer die Residuen nicht ansehen?

46

Im Artikel "Diskussion: Sollen Ökologen zu Bayesianern werden?" Brian Dennis gibt eine überraschend ausgewogene und positive Einschätzung der Bayes'schen Statistik, wenn es sein Ziel zu sein scheint, die Menschen davor zu warnen. In einem Absatz jedoch, ohne irgendwelche Zitate oder Begründungen, sagt er:

Sie sehen, Bayesianer dürfen sich ihre Residuen nicht ansehen. Es verstößt gegen das Wahrscheinlichkeitsprinzip, ein Ergebnis danach zu beurteilen, wie extrem es unter einem Modell ist. Für einen Bayesianer gibt es keine schlechten Modelle, nur schlechte Überzeugungen.

Warum darf sich ein Bayesianer die Residuen nicht ansehen? Was wäre das geeignete Zitat dafür (dh wen zitiert er)?

Dennis, B.
Diskussion: Sollen Ökologen zu Bayesianern werden?
Ecological Applications, Ecological Society of America , 1996 , 6, 1095 & ndash; 1103

Mankka
quelle
6
Wenn dieses Argument funktioniert, könnten Frequentisten auch nicht das Wahrscheinlichkeitsprinzip anwenden - aus dem gleichen Grund.
Glen_b
@Glen: frequentistischen Analyse hat die Wahrscheinlichkeit Prinzip verstoßen.
Scortchi
3
@ Glen: Ein Frequentist, der der LP wirklich verpflichtet ist (die schwache Version, die dem Suffizienzprinzip entspricht - die starke Version ist einfach nicht mit dem Ansatz des Frequentisten kompatibel), müsste die Modellprüfung meiden. Diejenigen, die es nur bewundern, sind froh, wenn sie es für die Schätzung der Parameter eines bestimmten Modells verwenden können und noch mehr oder weniger unabhängige Hilfsmittel - die Residuen - für die Modellprüfung übrig haben.
Scortchi
1
Selbst wenn der Frequentist eine ML-Schätzung vornimmt, verletzt er immer noch die LP, weil er die Stichprobenverteilung der MLE berücksichtigt, um ein Konfidenzintervall für seine Schätzung zu finden.
Zen
2
@Zen: Er verletzt die schwache LP nicht, solange das Konfidenzintervall nur über die Likelihood-Funktion von den Daten abhängt. Aber er könnte früher oder später die starke LP verletzen, indem er ein anderes Konfidenzintervall basierend auf der gleichen Wahrscheinlichkeitsfunktion aus einem anderen Experiment mit einem anderen Abtastraum erstellt.
Scortchi

Antworten:

19

Natürlich können sich die Bayesianer die Reste ansehen! Und natürlich gibt es in der Bayes'schen Analyse schlechte Modelle. Vielleicht haben ein paar Bayesianer in den 70ern solche Ansichten unterstützt (und ich bezweifle das), aber heutzutage werden Sie kaum einen Bayesianer finden, der diese Ansicht unterstützt.

Ich habe den Text nicht gelesen, aber Bayesianer verwenden Dinge wie Bayes-Faktoren, um Modelle zu vergleichen. Tatsächlich kann ein Bayesianer sogar die Wahrscheinlichkeit berechnen, dass ein Modell wahr ist, und das Modell auswählen, das wahrer ist. Oder ein Bayesianer kann über Modelle hinweg mitteln, um ein besseres Modell zu erhalten. Oder kann posterior prädiktive Kontrollen verwenden. Es gibt viele Möglichkeiten, ein Modell zu überprüfen, und jedes mag den einen oder anderen Ansatz bevorzugen, aber zu sagen, dass es in der Bayes'schen Analyse keine schlechten Modelle gibt, ist unsinnig.

Daher ist es höchstens angebracht zu sagen, dass Sie in einigen extremen Versionen des Bayesianismus (im Übrigen in extremen Versionen, die fast niemand in angewandten Einstellungen verwendet) nicht berechtigt sind, Ihr Modell zu überprüfen. Aber dann kann man sagen, dass man in einigen extremen Versionen von Frequentismus auch keine Beobachtungsdaten verwenden darf. Aber warum sollten wir Zeit damit verschwenden, diese albernen Dinge zu diskutieren, wenn wir diskutieren können, ob und wann wir in einem angewandten Umfeld Bayes'sche oder frequentistische Methoden anwenden sollten oder was auch immer? Das ist meiner bescheidenen Meinung nach wichtig.

Update: Das OP bat um einen Hinweis von jemandem, der die extreme Version von Bayes befürwortet. Da ich keine extreme Version von Bayes gelesen habe, kann ich diese Referenz nicht angeben. Aber ich würde vermuten, dass Savage eine solche Referenz sein könnte. Ich habe nie etwas von ihm gelesen, also kann ich mich irren.

ps .: Denken Sie an das Problem des "gut kalibrierten Bayesian" ( Dawid (1982), JASA , 77 , 379 ). Ein kohärenter subjektivistischer Bayes-Prognostiker kann nicht unkalibriert sein und würde daher sein Modell / seine Prognosen trotz aller Beweise, dass er unkalibriert ist, nicht überprüfen. Aber ich glaube nicht, dass jemand in der Praxis behaupten kann, so kohärent zu sein. Daher ist die Überprüfung des Modells wichtig.

ps2 .: Ich mag dieses Papier auch von Efron . Die vollständige Referenz ist: Efron, Bradley (2005). "Bayesianer, Frequentisten und Wissenschaftler." Journal of the American Statistical Association 100 (469).

Manoel Galdino
quelle
5
Ich nahm auch an, dass das Verbot in der Praxis nie ernst genommen wurde, und war deshalb überrascht, dies von Gelman zu lesen: "Ich möchte auf keinen Fall zum Status quo der Bayesianischen Statistik von 1990 zurückkehren, in der es virtuell betrachtet wurde Es ist nicht zulässig, die Übereinstimmung Ihres Modells mit Daten zu überprüfen. "
Scortchi
1
Ich weiß nicht, wie die Bayes-Statistik in den neunziger Jahren war. Aber es ist schwer zu glauben, dass die Bayesianer in angewandten Einstellungen ihre Modelle nicht überprüft haben. Vielleicht haben sie nachgesehen, aber nichts gesagt!
Manoel Galdino
2
Ich stimme definitiv zu, dass dies kein großes Problem ist. Ich war nur neugierig, ob jemand dies veröffentlicht hat. Haben Sie jemals jemanden gelesen, der diese "extremen Versionen des Bayesianismus" befürwortet?
Mankka
35

Sie können schauen, aber nicht berühren. Schließlich sind die Residuen der Teil der Daten, der keine Informationen zu Modellparametern enthält, und deren Prioritäten drücken alle Unsicherheiten in Bezug auf diese aus. Sie können ihre Prioritäten nicht basierend auf den in den Daten angezeigten Werten ändern.

Angenommen, Sie passen ein Gauß'sches Modell an, stellen jedoch eine viel zu große Kurtosis in den Residuen fest. Vielleicht hätte Ihre vorherige Hypothese eine t-Verteilung mit einer Wahrscheinlichkeit ungleich Null über niedrige Freiheitsgrade sein sollen, aber das war es nicht - es war praktisch überall eine t-Verteilung mit einer Wahrscheinlichkeit null, außer bei unendlichen Freiheitsgraden. Nichts in der Wahrscheinlichkeit kann über Regionen der hinteren Dichte, in denen die vorherige Dichte Null ist, zu Wahrscheinlichkeiten ungleich Null führen. Der Gedanke, die Prioritäten basierend auf den Datenwahrscheinlichkeiten fortlaufend zu aktualisieren, funktioniert also nicht, wenn der ursprüngliche Prior falsch angegeben wird.

Wenn Sie die Bayes'sche Modellprüfung bei Google durchführen, sehen Sie natürlich, dass dies eine Parodie der tatsächlichen Bayes'schen Praxis ist. Dennoch ist es für Argumente vom Typ der Logik der Wissenschaft für die Überlegenheit des Bayesianismus aus philosophischen Gründen etwas schwierig . Andrew Gelmans Blog ist zu diesem Thema interessant.

Scortchi - Wiedereinsetzung von Monica
quelle
Haben Sie Referenzen zu dieser "Schwierigkeit für die Logik der Wissenschaft"?
Mankka
7
Ich bezog mich auf Jaynes, Wahrscheinlichkeitstheorie: Die Logik der Wissenschaft , in der die wiederholte Verwendung des Bayes-Theorems zur Aktualisierung der Wahrscheinlichkeitsverteilungen, wenn neue Daten eintreffen, als Paradigma für das Wachstum wissenschaftlicher Erkenntnisse angesehen wird. Ich bin mir sicher, dass er sich mit dem Problem eines zu engen Prior beschäftigt, aber ich kann mich nicht erinnern, wie oder wie zufriedenstellend. Und ich werde "allgemeine Überlegenheit" in "Überlegenheit aus philosophischen Gründen" ändern, da dies besser zu vermitteln scheint, was ich meinte.
Scortchi
Dieses Beispiel der Bayesianischen Vorbenutzung wurde angewendet, um das gelegentliche Auftreten (2%) von unphysischen Ergebnissen zu reduzieren . Dieser Mangel an Körperlichkeit wurde auf ein nicht-physisches sofortiges Mischen (des Arzneimittels im Körper) zurückgeführt und durch die Annahme einer anfänglichen Vermischung von Null unter Verwendung eines besseren Modells korrigiert . Es scheint besser, das Modell an das Problem anzupassen, als die Antworten auf Vorurteile abzustimmen. (+1)
Carl