Warum sind die für Bayes-Faktoren und p-Werte verwendeten Grenzwerte so unterschiedlich?

11

Ich versuche Bayes Factor (BF) zu verstehen. Ich glaube, sie sind wie das Wahrscheinlichkeitsverhältnis von 2 Hypothesen. Wenn BF also 5 ist, bedeutet dies, dass H1 5-mal wahrscheinlicher ist als H0. Ein Wert von 3-10 zeigt mäßige Hinweise an, während> 10 starke Hinweise anzeigt.

Für den P-Wert wird jedoch traditionell 0,05 als Grenzwert angenommen. Bei diesem P-Wert sollte das H1 / H0-Wahrscheinlichkeitsverhältnis etwa 95/5 oder 19 betragen.

Warum wird für BF ein Grenzwert von> 3 und für P-Werte ein Grenzwert von> 19 verwendet? Diese Werte liegen auch nicht nahe beieinander.

rnso
quelle
2
Ich bin unbequem mit den Worten „wenn BF , bedeutet H 1 ist 5 mal häufiger als H 0 “. Der Bayes-Faktor kann ein Grenzwahrscheinlichkeitsverhältnis sein, aber es ist kein Wahrscheinlichkeitsverhältnis oder Quotenverhältnis und muss mit einem Vorgänger kombiniert werden, um nützlich zu sein5H15H0
Henry
Wenn wir keine besonderen Vorinformationen haben, was können wir dann über die Bedeutung von BF sagen?
Rnso
Sicherlich hat man "einige" Vorinformationen, selbst wenn man sagt, dass es keine bestimmten Vorinformationen gibt. In diesem Fall ist es nämlich sinnvoll, jeder Hypothese nach dem Prinzip der Gleichgültigkeit gleiche Wahrscheinlichkeiten zuzuweisen. Dies ist ein einfaches Beispiel für einen sogenannten nicht informativen Prior (zugegebenermaßen eine Fehlbezeichnung).
dnqxt
In diesem Fall zeigt ein BF von 5 an, dass eine Hypothese 5x wahrscheinlicher ist?
Rnso
Ja, aber dieses Problem ist viel komplizierter als es scheint und geht in den Bereich der Modellauswahl in der Statistik. Sie wurden gewarnt :))
dnqxt

Antworten:

10

Ein paar Dinge:

Der BF liefert Ihnen Beweise für eine Hypothese, während ein Test auf häufig auftretende Hypothesen Beweise gegen eine (Null-) Hypothese liefert. Es ist also eine Art "Äpfel zu Orangen".

Diese beiden Verfahren können trotz unterschiedlicher Interpretationen zu unterschiedlichen Entscheidungen führen. Zum Beispiel kann ein BF ablehnen, während ein häufig auftretender Hypothesentest dies nicht tut, oder umgekehrt. Dieses Problem wird oft als Jeffreys-Lindley-Paradox bezeichnet . Es gab viele Beiträge auf dieser Seite darüber; siehe zB hier und hier .

"Bei diesem P-Wert sollte die H1 / H0-Wahrscheinlichkeit 95/5 oder 19 betragen." Nein, das ist nicht wahr, weil ungefähr p(yH.1)1- -p(yH.0) . Um einen p-Wert zu berechnen und mindestens einen Frequentist-Test durchzuführen, müssen Sie keine Vorstellung von p(yH.1) . Außerdem sind p-Werte häufig Integrale / Summen von Dichten / pmfs, während ein BF nicht über den Datenprobenraum integriert wird.

Taylor
quelle
2
Taylor sagt, dass die Evidenzschwelle für eine Hypothese ( ) nicht direkt mit der Evidenzschwelle für eine andere Hypothese ( H 1 ) verglichen werden kann , auch nicht annähernd. Wenn Sie aufhören, an einen Null-Effekt zu glauben, müssen Sie sich nicht darauf beziehen, wann Sie anfangen , an eine Alternative zu glauben. Dies ist genau der Grund, warum der p- Wert nicht als 1 - ( Glaube an H 1 )H.0H.1p1(belief in H1)
Frans Rodenburg
1
Vielleicht kann dies klarstellen: en.wikipedia.org/wiki/Misunderstandings_of_p-values Der frequentistische Wert ist kein Beweismaß für irgendetwas. p
Frans Rodenburg
2
Entschuldigung, letzter Kommentar: Der Grund, warum Sie es nicht als Beweis für ist, dass es die Chance ist, diese große Effektgröße zu beobachten, wenn H 0 wahr wäre. Wenn H 0 tatsächlich wahr ist, sollte der p- Wert gleichmäßig zufällig sein, so dass sein Wert keine Bedeutung für die Wahrscheinlichkeit von H 1 hat . Diese Subtilität in der Interpretation ist übrigens einer der Gründe, warum p- Werte so viel Missbrauch sehen. H1 H0H0pH1p
Frans Rodenburg
1
@benxyzzy: Die Verteilung eines Wertes ist nur unter der Nullhypothese gleichmäßig, nicht unter der Alternative, bei der er stark gegen Null verschoben ist. p
Xi'an
1
@benxyzzy Um es anderen hinzuzufügen: Der Sinn der Verwendung eines Werts besteht darin, dass er unter der Nullhypothese einheitlich zufällig ist. Wenn Sie also einen sehr kleinen p- Wert erhalten, deutet dies darauf hin, dass er möglicherweise nicht einheitlich zufällig war, also möglicherweise die Null Hypothese war nicht wahr. pp
JiK
8

Der Bayes-Faktor B01 kann unter gleichen Gewichten wie P 01 = 1 in eine Wahrscheinlichkeit umgewandelt werden

P01=11+1B01
macht sie aberseitdemnichtmit einempWertvergleichbar

  1. P01 ist eine Wahrscheinlichkeit im Parameterraum, nicht im Abtastraum
  2. Sein Wert und seine Reichweite hängen von der Wahl der vorherigen Maßnahme ab. Sie sind daher eher relativ als absolut (und Taylors Erwähnung des Lindley-Jeffreys-Paradoxons ist in diesem Stadium angemessen ).
  3. Sowohl B01 als auch P01 enthalten eine Strafe für die Komplexität (Occams Rasiermesser), indem sie über den Parameterraum integriert werden

Wenn Sie ein Bayes'sches Äquivalent zum p Wert betrachten möchten , sollte der posteriore prädiktive p Wert (Meng, 1994) untersucht werden.

Q01=P(B01(X)B01(xobs))
wobei xobs bezeichnet die Beobachtung , und X aus der posterioren prädiktiven verteilt ist
XΘf(x|θ)π(θ|xobs)dθ

Xi'an
quelle
Unter Verwendung Ihrer Formel ergibt sich P für BF von 3 und 10 zu 0,75 bzw. 0,91. Warum sollten wir diese als moderate Beweise akzeptieren, da wir für den P-Wert einen Grenzwert von 0,95 halten?
Rnso
Warum ist 0,95relevant in diesem Rahmen? oder überhaupt? Die Entscheidung, wann groß groß genug ist, hängt von Ihrer Dienstprogrammfunktion ab.
Xi'an
Die Formel sieht einfacher aus alsP = B/(B+1)
26.
2

Ein Teil Ihrer Verwirrung könnte darauf zurückzuführen sein, dass Sie die Zahl 95/5 direkt aus der Tatsache ziehen, dass der p-Wert 0,05 beträgt. Tun Sie dies? Ich glaube nicht, dass das richtig ist. Der p-Wert für einen t-Test spiegelt beispielsweise die Wahrscheinlichkeit wider, den beobachteten Unterschied zwischen Mittelwerten oder einen extremeren Unterschied zu erhalten, wenn die Nullhypothese tatsächlich wahr ist. Wenn Sie einen ap-Wert von 0,02 erhalten, sagen Sie 'ah, es gibt nur eine 2% ige Chance, einen solchen Unterschied zu erhalten, oder einen größeren Unterschied, wenn die Null wahr ist. Das scheint sehr unwahrscheinlich, deshalb schlage ich vor, dass die Null nicht wahr ist! '. Diese Zahlen sind einfach nicht dasselbe, was in den Bayes-Faktor einfließt, der das Verhältnis der posterioren Wahrscheinlichkeiten zu jeder konkurrierenden Hypothese darstellt. Diese posterioren Wahrscheinlichkeiten werden nicht auf die gleiche Weise wie der p-Wert berechnet.

Als Randnotiz würde ich empfehlen, sich stark davor zu schützen, unterschiedliche BF-Werte als bestimmte Dinge zu betrachten. Diese Zuordnungen sind ebenso wie das .05-Signifikanzniveau völlig willkürlich. Probleme wie P-Hacking treten bei Bayes Factors genauso leicht auf, wenn die Leute glauben, dass nur bestimmte Zahlen berücksichtigt werden müssen. Versuchen Sie, sie als das zu verstehen, was sie sind, was so etwas wie relative Wahrscheinlichkeiten sind, und verwenden Sie Ihren eigenen Sinn, um festzustellen, ob Sie eine BF-Nummer finden, die überzeugende Beweise liefert oder nicht.

Jamie
quelle