Warum sind die für Bayes-Faktoren und p-Werte verwendeten Grenzwerte so unterschiedlich?

Ich versuche Bayes Factor (BF) zu verstehen. Ich glaube, sie sind wie das Wahrscheinlichkeitsverhältnis von 2 Hypothesen. Wenn BF also 5 ist, bedeutet dies, dass H1 5-mal wahrscheinlicher ist als H0. Ein Wert von 3-10 zeigt mäßige Hinweise an, während> 10 starke Hinweise anzeigt.

Für den P-Wert wird jedoch traditionell 0,05 als Grenzwert angenommen. Bei diesem P-Wert sollte das H1 / H0-Wahrscheinlichkeitsverhältnis etwa 95/5 oder 19 betragen.

Warum wird für BF ein Grenzwert von> 3 und für P-Werte ein Grenzwert von> 19 verwendet? Diese Werte liegen auch nicht nahe beieinander.

hypothesis-testing bayesian p-value bayes-factors rnso
quelle

Ich bin unbequem mit den Worten „wenn BF

, bedeutet

ist

mal häufiger als

“. Der Bayes-Faktor kann ein Grenzwahrscheinlichkeitsverhältnis sein, aber es ist kein Wahrscheinlichkeitsverhältnis oder Quotenverhältnis und muss mit einem Vorgänger kombiniert werden, um nützlich zu sein

5

$5$

H_{1}

$H_1$

5

$5$

H_{0}

$H_0$

Henry

Wenn wir keine besonderen Vorinformationen haben, was können wir dann über die Bedeutung von BF sagen?

Rnso

Sicherlich hat man "einige" Vorinformationen, selbst wenn man sagt, dass es keine bestimmten Vorinformationen gibt. In diesem Fall ist es nämlich sinnvoll, jeder Hypothese nach dem Prinzip der Gleichgültigkeit gleiche Wahrscheinlichkeiten zuzuweisen. Dies ist ein einfaches Beispiel für einen sogenannten nicht informativen Prior (zugegebenermaßen eine Fehlbezeichnung).

dnqxt

In diesem Fall zeigt ein BF von 5 an, dass eine Hypothese 5x wahrscheinlicher ist?

Rnso

Ja, aber dieses Problem ist viel komplizierter als es scheint und geht in den Bereich der Modellauswahl in der Statistik. Sie wurden gewarnt :))

dnqxt

Antworten:

Ein paar Dinge:

Der BF liefert Ihnen Beweise für eine Hypothese, während ein Test auf häufig auftretende Hypothesen Beweise gegen eine (Null-) Hypothese liefert. Es ist also eine Art "Äpfel zu Orangen".

Diese beiden Verfahren können trotz unterschiedlicher Interpretationen zu unterschiedlichen Entscheidungen führen. Zum Beispiel kann ein BF ablehnen, während ein häufig auftretender Hypothesentest dies nicht tut, oder umgekehrt. Dieses Problem wird oft als Jeffreys-Lindley-Paradox bezeichnet . Es gab viele Beiträge auf dieser Seite darüber; siehe zB hier und hier .

"Bei diesem P-Wert sollte die H1 / H0-Wahrscheinlichkeit 95/5 oder 19 betragen." Nein, das ist nicht wahr, weil ungefähr $p(y \mid H_1) \neq 1- p(y \mid H_0)$ . Um einen p-Wert zu berechnen und mindestens einen Frequentist-Test durchzuführen, müssen Sie keine Vorstellung von $p(y \mid H_1)$ . Außerdem sind p-Werte häufig Integrale / Summen von Dichten / pmfs, während ein BF nicht über den Datenprobenraum integriert wird.

Taylor
quelle

Taylor sagt, dass die Evidenzschwelle für eine Hypothese (

) nicht direkt mit der Evidenzschwelle für eine andere Hypothese (

) verglichen werden kann , auch nicht annähernd. Wenn Sie aufhören, an einen Null-Effekt zu glauben, müssen Sie sich nicht darauf beziehen, wann Sie anfangen , an eine Alternative zu glauben. Dies ist genau der Grund, warum der

Wert nicht als

H_{0}

$\text{H}_0$

H_{1}

$\text{H}_1$

p

$p$

1 - ({belief in H}_{1})

$1 - (\text{belief in H}_1)$

Frans Rodenburg

Vielleicht kann dies klarstellen: en.wikipedia.org/wiki/Misunderstandings_of_p-values Der frequentistische

Wert ist kein Beweismaß für irgendetwas.

p

$p$

Frans Rodenburg

Entschuldigung, letzter Kommentar: Der Grund, warum Sie es nicht als Beweis für

ist, dass es die Chance ist, diese große Effektgröße zu beobachten, wenn

wahr wäre. Wenn

tatsächlich wahr ist, sollte der

Wert gleichmäßig zufällig sein, so dass sein Wert keine Bedeutung für die Wahrscheinlichkeit von

. Diese Subtilität in der Interpretation ist übrigens einer der Gründe, warum

Werte so viel Missbrauch sehen.

H_{1}

$\text{H}_1$

H_{0}

$\text{H}_0$

H_{0}

$\text{H}_0$

p

$p$

H_{1}

$\text{H}_1$

p

$p$

Frans Rodenburg

@benxyzzy: Die Verteilung eines

Wertes ist nur unter der Nullhypothese gleichmäßig, nicht unter der Alternative, bei der er stark gegen Null verschoben ist.

p

$p$

Xi'an

@benxyzzy Um es anderen hinzuzufügen: Der Sinn der Verwendung eines

Werts besteht darin, dass er unter der Nullhypothese einheitlich zufällig ist. Wenn Sie also einen sehr kleinen

Wert erhalten, deutet dies darauf hin, dass er möglicherweise nicht einheitlich zufällig war, also möglicherweise die Null Hypothese war nicht wahr.

p

$p$

p

$p$

JiK

Der Bayes-Faktor $B_{01}$ kann unter gleichen Gewichten wie in eine Wahrscheinlichkeit umgewandelt werden

P_{01} = \frac{1}{1 + \frac{1}{B_{01}}}

$P_{01}=\frac{1}{1+\frac{1}{\large B_{01}}}$ macht sie aberseitdemnichtmit einem

p

$p$ Wertvergleichbar

$P_{01}$ ist eine Wahrscheinlichkeit im Parameterraum, nicht im Abtastraum
Sein Wert und seine Reichweite hängen von der Wahl der vorherigen Maßnahme ab. Sie sind daher eher relativ als absolut (und Taylors Erwähnung des Lindley-Jeffreys-Paradoxons ist in diesem Stadium angemessen ).
Sowohl $B_{01}$ als auch $P_{01}$ enthalten eine Strafe für die Komplexität (Occams Rasiermesser), indem sie über den Parameterraum integriert werden

Wenn Sie ein Bayes'sches Äquivalent zum $p$ Wert betrachten möchten , sollte der posteriore prädiktive $p$ Wert (Meng, 1994) untersucht werden.

Q_{01} = P (B_{01} (X) \leq B_{01} (x^{obs}))

$Q_{01}=\mathbb P(B_{01}(X)\le B_{01}(x^\text{obs}))$ wobei

x^{obs}

$x^\text{obs}$ bezeichnet die Beobachtung , und

X

$X$ aus der posterioren prädiktiven verteilt ist

X \sim \int_{Θ} f (x | θ) π (θ | x^{obs}) d θ

$X\sim \int_\Theta f(x|\theta) \pi(\theta|x^\text{obs})\,\text{d}\theta$

Xi'an
quelle

Unter Verwendung Ihrer Formel ergibt sich P für BF von 3 und 10 zu 0,75 bzw. 0,91. Warum sollten wir diese als moderate Beweise akzeptieren, da wir für den P-Wert einen Grenzwert von 0,95 halten?

Rnso

Warum ist

0.95

$0.95$ relevant in diesem Rahmen? oder überhaupt? Die Entscheidung, wann groß groß genug ist, hängt von Ihrer Dienstprogrammfunktion ab.

Xi'an

Die Formel sieht einfacher aus alsP = B/(B+1)

26.

Ein Teil Ihrer Verwirrung könnte darauf zurückzuführen sein, dass Sie die Zahl 95/5 direkt aus der Tatsache ziehen, dass der p-Wert 0,05 beträgt. Tun Sie dies? Ich glaube nicht, dass das richtig ist. Der p-Wert für einen t-Test spiegelt beispielsweise die Wahrscheinlichkeit wider, den beobachteten Unterschied zwischen Mittelwerten oder einen extremeren Unterschied zu erhalten, wenn die Nullhypothese tatsächlich wahr ist. Wenn Sie einen ap-Wert von 0,02 erhalten, sagen Sie 'ah, es gibt nur eine 2% ige Chance, einen solchen Unterschied zu erhalten, oder einen größeren Unterschied, wenn die Null wahr ist. Das scheint sehr unwahrscheinlich, deshalb schlage ich vor, dass die Null nicht wahr ist! '. Diese Zahlen sind einfach nicht dasselbe, was in den Bayes-Faktor einfließt, der das Verhältnis der posterioren Wahrscheinlichkeiten zu jeder konkurrierenden Hypothese darstellt. Diese posterioren Wahrscheinlichkeiten werden nicht auf die gleiche Weise wie der p-Wert berechnet.

Als Randnotiz würde ich empfehlen, sich stark davor zu schützen, unterschiedliche BF-Werte als bestimmte Dinge zu betrachten. Diese Zuordnungen sind ebenso wie das .05-Signifikanzniveau völlig willkürlich. Probleme wie P-Hacking treten bei Bayes Factors genauso leicht auf, wenn die Leute glauben, dass nur bestimmte Zahlen berücksichtigt werden müssen. Versuchen Sie, sie als das zu verstehen, was sie sind, was so etwas wie relative Wahrscheinlichkeiten sind, und verwenden Sie Ihren eigenen Sinn, um festzustellen, ob Sie eine BF-Nummer finden, die überzeugende Beweise liefert oder nicht.

Jamie
quelle