Behandeln Bayes'sche glaubwürdige Intervalle den geschätzten Parameter als Zufallsvariable?

Ich habe kürzlich den folgenden Absatz auf Wikipedia gelesen :

Bayes'sche Intervalle behandeln ihre Grenzen als fest und den geschätzten Parameter als Zufallsvariable , während häufig auftretende Konfidenzintervalle ihre Grenzen als Zufallsvariablen und den Parameter als festen Wert behandeln.

Ich bin mir jedoch nicht sicher, ob dies wahr ist. Meine Interpretation des glaubwürdigen Intervalls war, dass es unsere eigene Unsicherheit über den wahren Wert des geschätzten Parameters einschließt, aber dass der geschätzte Parameter selbst eine Art "wahren" Wert hat.

Dies unterscheidet sich geringfügig von der Aussage, dass der geschätzte Parameter eine 'Zufallsvariable' ist. Liege ich falsch?

Betrachten Sie die Situation, in der Sie Beobachtungen eines binären Prozesses (2-coutcome) haben. Oft werden die beiden möglichen Ergebnisse jeder Studie als Erfolg und Misserfolg bezeichnet.$n = 20$

Häufiges Konfidenzintervall. Angenommen, Sie beobachten Erfolge in den Versuchen. Zeigen Sie die Anzahl der Erfolge als Zufallsvariable wobei die Erfolgswahrscheinlichkeit eine unbekannte Konstante ist. Das Wald 95% Frequentist-Konfidenzintervall basiert auf einer Schätzung von Unter Verwendung einer normalen Näherung hat dieses CI die Form oder [Der etwas verbesserte Agresti-Coull- Stil von 95% CI beträgt$x = 15$$n = 20$$X$$X \sim \mathsf{Binom}(n=20; p),$$p$$\hat p = 15/20 = 0.75,$$p.$$\hat p \pm 1.96\sqrt{\hat p(1-\hat p)/n}$$(0.560, 0.940).$$(0.526, 0.890).]$

Eine übliche Interpretation ist, dass die Prozedur, die ein solches Intervall erzeugt, auf lange Sicht in 95% der Fälle untere und obere Konfidenzgrenzen erzeugt, die den wahren Wert von . [Der Vorteil des Agresti-Coull-Intervalls besteht darin, dass der langfristige Anteil solcher Einschlüsse näher an 95% liegt als beim Wald-Intervall.]$p$

Bayesianisches glaubwürdiges Intervall. Der Bayes'sche Ansatz beginnt mit der Behandlung von als Zufallsvariable. Vor dem Anzeigen von Daten können wir, wenn wir keine Erfahrung mit dem durchgeführten Binomialversuch oder keine persönliche Meinung zur Verteilung von die 'flache' oder 'nicht informative' Gleichverteilung wählen und$p$$p,$$p \sim \mathsf{Unif}(0, 1) \equiv \mathsf{Beta}(1,1).$

Bei 15 Erfolgen in 20 Binomialversuchen finden wir dann die posteriore Verteilung von als Produkt der vorherigen Verteilung und der Binomialwahrscheinlichkeitsfunktion.$p$

Hier erkennen wir, dass der Kern der posterioren Verteilung der der DistributionDann wird ein 95% Bayes'sches posteriores Intervall oder ein glaubwürdiges Intervall gefunden, indem 2,5% von jedem Schwanz der posterioren Verteilung abgeschnitten werden. Hier ist das Ergebnis von R: [Informationen zu Beta-Distributionen finden Sie in Wikipedia .]$\mathsf{Beta}(16, 6).$$(0.528,0.887).$

qbeta(c(.025,.975), 16, 6)
[1] 0.5283402 0.8871906

Wenn wir der Meinung sind, dass das Vorherige vernünftig ist und glauben, dass das Binomialversuch mit 20 Versuchen fair durchgeführt wurde, dann müssen wir logischerweise erwarten, dass die Bayes'sche Intervallschätzung nützliche Informationen über das vorliegende Experiment liefert - ohne Bezug auf eine hypothetische Langzeit- Zukunft laufen.

Beachten Sie, dass dieses Bayes'sche glaubwürdige Intervall dem Agresti-Coull-Konfidenzintervall numerisch ähnlich ist. Wie Sie jedoch betonen, sind die Interpretationen der beiden Arten von Intervallschätzungen (Frequentist und Bayesian) nicht identisch.

Informativ vor. Bevor wir die Daten sahen, hätten wir, wenn wir Grund zu der Annahme hatten, dassmöglicherweise die Verteilungals vorherige Verteilung gewählt. [Diese Verteilung hat einen Mittelwert von 2/3, eine Standardabweichung von etwa 0,35 und legt etwa 95% ihrer Wahrscheinlichkeit in das Intervall]]$p \approx 2/3,$$\mathsf{Beta}(8,4)$$(0.39, 0.89).$

qbeta(c(.025,.975), 8,4)
[1] 0.3902574 0.8907366

In diesem Fall ergibt das Multiplizieren des Prior mit der Wahrscheinlichkeit den hinteren Kern von so dass das zu 95% Bayes'sche glaubwürdige Intervall beträgt Die hintere Verteilung ist eine Verschmelzung der Informationen im Prior und der Wahrscheinlichkeit, die grob übereinstimmen, so dass die resultierende Bayes'sche Intervallschätzung kürzer ist als das Intervall vom flachen Prior.$\mathsf{Beta}(23,7),$$(0.603, 0.897).$

qbeta(c(.025,.975), 23,7)
[1] 0.6027531 0.8970164

Anmerkungen: (1) Die Beta-Prior- und Binomial-Likelihood-Funktion sind "konjugiert", dh mathematisch kompatibel, so dass wir die posteriore Verteilung ohne Berechnung finden können. Manchmal scheint es keine vorherige Verteilung zu geben, die mit der Wahrscheinlichkeit konjugiert ist. Dann kann es notwendig sein, eine numerische Integration zu verwenden, um die hintere Verteilung zu finden.

(2) Ein glaubwürdiges Bayes'sches Intervall von einem nicht informativen Prior hängt im Wesentlichen von der Wahrscheinlichkeitsfunktion ab. Außerdem hängt ein Großteil der häufig auftretenden Schlussfolgerungen von der Wahrscheinlichkeitsfunktion ab. Daher ist es keine Überraschung, dass ein Bayes'sches glaubwürdiges Intervall von einem flachen Prior numerisch einem frequentistischen Konfidenzintervall ähnlich sein kann, das auf derselben Wahrscheinlichkeit basiert.

Ihre Interpretation ist richtig. Meiner Meinung nach verschleiert diese bestimmte Passage im Wikipedia-Artikel ein einfaches Konzept mit undurchsichtiger Fachsprache. Die anfängliche Passage ist viel klarer: "ist ein Intervall, in das ein nicht beobachteter Parameterwert mit einer bestimmten subjektiven Wahrscheinlichkeit fällt".

Der Fachbegriff "Zufallsvariable" ist insbesondere aus Bayes'scher Sicht irreführend. Es wird immer noch nur aus Tradition verwendet; Werfen Sie einen Blick auf Shafers faszinierende historische Studie. Wann man eine Variable zufällig über ihre Herkunft aufruft. Aus Bayes'scher Sicht bedeutet "zufällig" einfach "unbekannt" oder "unsicher" (aus welchem ​​Grund auch immer), und "Variable" ist eine Fehlbezeichnung für "Menge" oder "Wert". Wenn wir beispielsweise versuchen, unsere Unsicherheit über die Lichtgeschwindigkeit anhand einer Messung oder eines Experiments zu bewerten , sprechen wir von als "Zufallsvariable". aber es ist offensichtlich nicht "zufällig" (und was bedeutet "zufällig"?), noch ist es "variabel" - tatsächlich ist es eine Konstante. Es ist nur eine physikalische Konstante, über deren genauen Wert wir uns nicht sicher sind. Siehe § 16.4 (und andere Orte) in$c$$c$Jaynes 'Buch für eine aufschlussreiche Diskussion zu diesem Thema.

Die Frage "Was bedeutet ein Bayes'sches Intervall für einen 'Parameter'?" kommt von der noch wichtigeren Frage "Was bedeutet dieser Parameter?". Es gibt zwei Hauptaspekte - die sich nicht gegenseitig ausschließen - bezüglich der Bedeutung von "Parametern" in der Bayes'schen Theorie. Beide verwenden den Satz von de Finetti . Kapitel 4 der Bayes'schen Theorie von Bernardo & Smith enthält eine wunderschön tiefe Diskussion des Theorems; siehe auch Dawid's Zusammenfassung Austauschbarkeit und ihre Auswirkungen .

Der erste Gesichtspunkt ist, dass der Parameter und seine Verteilung nur mathematische Objekte sind, die eine unendliche Menge gemeinsamer Glaubensverteilungen über die tatsächlich beobachtbaren Größen (z. B. die Ergebnisse der Münzwürfe oder) vollständig zusammenfassen das Vorhandensein eines genetischen Allels bei Personen mit einer bestimmten Krankheit). Wenn wir also im Binomialfall sagen "wir haben eine 95% ige Annahme, dass der Parameterwert innerhalb des Intervalls ", meinen wir "wir haben eine Annahme zwischen % und %, dass ", "wir habe einen Glauben zwischen % und %, dass und$x_1, x_2, \dotsc$$p$$I$$b_1$$b_1'$$x_1=1$$b_2$$b_2'$$x_1=1$$x_2=1$ "und alle möglichen ähnlichen Aussagen. Die genaue numerische Beziehung zwischen den s und dem Intervall ergibt sich aus der Integralformel von de Finetti.$b_i$$I$

Der zweite Gesichtspunkt ist, dass solche "Parameter" langfristig beobachtbare Größen sind, daher ist es sinnvoll, über unseren Glauben an ihre Werte zu sprechen. Zum Beispiel ist der Binomialparameter die langfristige Häufigkeit von Beobachtungen von "Erfolgen" (Schwänze für eine Münze, kleines Allel für den genetischen Fall usw.). Wenn wir also sagen "wir glauben zu 95%, dass der Parameterwert innerhalb des Intervalls ", meinen wir ", glauben wir zu 95%, dass die langfristige relative Häufigkeit von Erfolgen innerhalb des Intervalls$p$$p$$I$$I$". Der Kontext hier ist, dass, wenn ein Orakel oder Dschinn uns sagte, dass die langfristige relative Häufigkeit beispielsweise 0,643 beträgt, unsere Überzeugung, dass die nächste Beobachtung ein Erfolg ist, aus Symmetriegründen 64,3% betragen würde; Die nächsten beiden Beobachtungen, 41,3449% usw. ("Aus Symmetriegründen", weil wir gleichermaßen an alle möglichen zeitlichen Abfolgen von Erfolgen und Misserfolgen glauben - dies ist der Kontext des Satzes.) Diese langfristigen Beobachtungen müssen nicht unendlich sein. aber gerade groß genug: In diesem Fall kann die unendliche Austauschbarkeitsformel von de Finetti als eine Annäherung an eine endliche Austauschbarkeitsformel betrachtet werden (zum Beispiel ist die Binomialverteilung eine Annäherung an eine hypergeometrische: "Zeichnen ohne Ersatz"); siehe Diaconis & Freedmanüber eine solche Annäherung. Oft beziehen sich solche Parameter auf Langzeitstatistiken (siehe erneut das zitierte Kapitel in Bernardo & Smith). Kurz gesagt, der "Parameter" ist eine Langzeitfrequenz oder eine andere beobachtbare empirische Statistik.

Ich persönlich mag den zweiten Gesichtspunkt - der versucht, die empirische Bedeutung des Parameters als physikalische Größe zu finden - auch, weil er mir hilft, meine Glaubensverteilung vor der Daten über diese spezifische physikalische Größe in ihrem spezifischen Kontext zu bewerten. Siehe zum Beispiel Diaconis & als Artikel Dynamische Voreingenommenheit im Münzwurf für eine schöne Untersuchung der Beziehung zwischen langfristigen Parametern und physikalischen Prinzipien. Leider kommen heutzutage viele "Modelle" und Parameter nur als Black Boxes: Menschen benutzen sie nur, weil andere sie benutzen. In Diaconis 'Worten :

de Finettis Alarm bei Statistikern, die Unmengen nicht beobachtbarer Parameter einführen, wurde in den modernen Kurvenanpassungsübungen der heutigen großen Modelle wiederholt gerechtfertigt. Diese scheinen jeglichen Kontakt zur wissenschaftlichen Realität zu verlieren, indem sie die Aufmerksamkeit auf Details großer Programme und Anpassungen richten, anstatt den grundlegenden Mechanismus zu beobachten und zu verstehen.

In der frequentistischen Theorie kann der Begriff "Zufallsvariable" jedoch eine andere Bedeutung haben. Ich bin kein Experte für diese Theorie, daher werde ich dort nicht versuchen, sie zu definieren. Ich denke, es gibt Literatur, die zeigt, dass häufig auftretende Konfidenzintervalle und Bayes'sche Intervalle sehr unterschiedlich sein können. Siehe zum Beispiel Konfidenzintervalle gegenüber Bayes'schen Intervallen oder https://www.ncbi.nlm.nih.gov/pubmed/6830080 .

Meine Interpretation des glaubwürdigen Intervalls war, dass es unsere eigene Unsicherheit über den wahren Wert des geschätzten Parameters einschließt, aber dass der geschätzte Parameter selbst eine Art "wahren" Wert hat. Dies unterscheidet sich geringfügig von der Aussage, dass der geschätzte Parameter eine 'Zufallsvariable' ist. Liege ich falsch?

Obwohl Sie sagen, dass Sie das glaubwürdige Intervall so interpretieren, dass es unsere eigene Unsicherheit einschließt, geht die Logik Ihrer Schlussfolgerung von der Annahme aus, dass eine Größe mit einem wahren Wert keine Zufallsvariable ist. Dies ist eine aleatorische Sicht der Wahrscheinlichkeit (und der nachfolgenden "Zufälligkeit"), die Zufälligkeit als eine Eigenschaft versteht, die der Natur innewohnt. Mathematisch gesehen ist eine Zufallsvariable lediglich eine Größe, die möglichen Ergebnissen in einem Stichprobenraum entspricht, an die ein Wahrscheinlichkeitsmaß angehängt ist. Daher wäre Ihr Ansatz nur dann sinnvoll, wenn Sie dieses Wahrscheinlichkeitsmaß als eine inhärente Eigenschaft der Natur betrachten und die Neigung zum Auftreten eines metaphysisch "zufälligen" Ereignisses angeben. Sie schließen daraus, dass ein Parameter, der einen wahren Wert hat, nicht metaphysisch "zufällig" sein darf.

Dieser Ansatz steht im Widerspruch zu der epistemischen Interpretation der Wahrscheinlichkeit, die in der Bayes'schen Theorie allgemein verwendet wird. Bei dem letzteren Ansatz (der die Standardinterpretation darstellt) wird das Wahrscheinlichkeitsmaß nur als Maß für den Grad des Glaubens (unter bestimmten Kohärenzanforderungen) des Analytikers (oder eines anderen Subjekts) interpretiert. Unter der epistemischen Interpretation ist "Zufallsvariable" gleichbedeutend mit "unbekannter Größe", und daher ist es kein Problem zu sagen, dass ein Parameter einen wahren Wert hat, aber immer noch eine Zufallsvariable mit einem (nicht entarteten) Wahrscheinlichkeitsmaß ist. Das Zitat, das Sie betrachten, verwendet diesen epistemischen Ansatz zur Wahrscheinlichkeit, aber Ihre Schlussfolgerung scheint eine Prämisse zu verwenden, die im Widerspruch zu dieser Interpretation steht.