Sind die Wahrscheinlichkeiten von Fehlern des Typs I und II negativ korreliert?

11

In einer elementaren Statistikklasse, für die ich TA war, stellte der Professor fest, dass mit zunehmender Wahrscheinlichkeit eines Fehlers vom Typ I die Wahrscheinlichkeit eines Fehlers vom Typ II β abnimmt und auch das Gegenteil der Fall ist. Das legt mir also nahe, dass ρ α , β < 0 ist .αβρα,β<0

Aber wie würde man dies für einen allgemeinen Hypothesentest beweisen? Stimmt die Aussage überhaupt im Allgemeinen?

Ich könnte einen bestimmten Fall versuchen (sagen wir und H 1 : μ < μ 0 ), aber das ist natürlich nicht allgemein genug, um diese Frage zu beantworten.H0:μ=μ0H1:μ<μ0

Klarinettist
quelle

Antworten:

13

Diese Größen ( und β ) sind keine Zufallsvariablen, daher zögere ich, von ihrer Pearson-Korrelation zu sprechen. Ich bin mir nicht sicher, in welchem ​​Sinne das zutreffen würde.αβ

Die beiden sind in dem Sinne negativ miteinander verbunden, dass, wenn Sie α ändern , im Allgemeinen vernünftigerweise (aber siehe unten *) - und andere Dinge (wie die Stichprobengröße und die Effektgröße, bei der Sie berechnen ) gleich bleiben - , wird β das verschieben entgegengesetzte Richtung (insbesondere in typischen Situationen ist β eine Funktion von α ; geben Sie genügend Größen an, um β zu bestimmen, und es hängt von α ab - und diese Beziehung wird in den meisten vernünftigen Situationen die Art sein, die Sie in einem verwenden möchten tatsächlicher Test - negativ abhängig sein).βαββαβα

Betrachten Sie zum Beispiel eine Leistungskurve. Wenn Sie bewegen, wird die Leistungskurve ( 1 - β ) mit nach oben oder unten gedrückt, sodass β an einem Punkt der Kurve (dh dem Abstand zwischen der Kurve und 1) mit zunehmendem α abnimmt . Hier ist ein Beispiel mit einem zweiseitigen Test (z. B. einem T-Test).α1ββα

enter image description here

Der einseitige Fall ist ähnlich, aber Sie würden sich auf die rechte Hälfte des obigen Bildes konzentrieren (die beiden Kurven in der linken Bildhälfte würden gegen Null abfallen).


* Es gibt Situationen, in denen dies nicht der Fall sein muss. Erwägen Sie, über einen Kolmogorov-Smirnov-Test auf eine Uniform (0,1) zu testen.

Betrachten wir die Möglichkeit, dass wir stattdessen eine Uniform auf † haben (oder tatsächlich eine Verteilung mit einer gewissen Wahrscheinlichkeit außerhalb des Einheitsintervalls).(0,1+ϵ)

Wenn ich einen Wert beobachte, der nicht in (0,1) liegt, lehnt der Kolmogorov-Smirnov-Test die Null nicht unbedingt ab. Aber ich kann einen zweiten Test machen (nennen wir ihn den KS * -Test), der dem Kolmogorov-Smirnov ähnelt, außer dass wir, wenn wir einen Wert außerhalb von (0,1) beobachten, auch die Null ablehnen, unabhängig davon, ob die übliche Statistik vorliegt oder nicht erreicht den kritischen Wert.

Dann haben wir für jede Alternative, die eine Wahrscheinlichkeit außerhalb von (0,1) hat, die Fehlerrate vom Typ II (gegenüber der für den normalen KS-Test) reduziert, ohne überhaupt zu ändern .α

(In diesem Fall ist es normalerweise keine gute Idee, einen KS zu verwenden. Wenn Sie also wissen, dass dies möglich ist, müssen Sie sorgfältig über Alternativen nachdenken.)

Glen_b - Monica neu starten
quelle
3

Lassen bezeichnete die Beobachtung mit einer Dichte von f 0 ( x ) oder f 1 ( x ) nach als Hypothese H 0 oder H 1 gilt. Es sei Γ 0 und Γ 1 die Entscheidungsbereiche . Somit ist Γ 0Γ 1 = , Γ 0Γ 1 = R und die Entscheidung ist, dass H i wahr ist, wenn X ∈ istXf0(x)f1(x)H0H1Γ0Γ1Γ0Γ1=Γ0Γ1=RHiXΓi. Dann sind die Fehlerwahrscheinlichkeiten vom Typ I und Typ II Betrachten Sie zweiandereEntscheidungsbereicheΓ0 undΓ1, so dassΓ1Γ1 undΓ0Γ0 sind. Nun ist Γ1 f0(x

(1)P(Type I error)=Γ1f0(x)dx(2)P(Type II error)=Γ0f1(x)dx.
Γ0Γ1Γ1Γ1Γ0Γ0 da das Integral über einer größeren Menge liegt, was bedeutet, dass die neue Entscheidungsregel eine größere Fehlerwahrscheinlichkeit vom Typ I aufweist. Beachten Sie aber auch, dass Γ 0
Γ1f0(x)dxΓ1f0(x)dx
Γ0f1(x)dxΓ0f1(x)dx
Dilip Sarwate
quelle
1

Die Beziehung, die Sie zwischen betrachten α und βDies gilt in Bezug auf die Aktivität, an die Sie zu diesem Zeitpunkt gedacht haben: Anpassen des kritischen Werts, den Sie zum Akzeptieren oder Ablehnen einer Hypothese verwenden. Wenn Sie es schwieriger machen, ein falsch-positives Ergebnis zu erzielen, müssen Sie es natürlich einfacher machen, ein falsch-negatives Ergebnis zu erzielen. Diese Website zeigt die Beziehung zwischenα und β grafisch.

Die Beziehung gilt nicht für alle Aktivitäten. Als offensichtliches Beispiel können Sie die Anzahl der Proben in Ihrem Test verringern, wenn Sie sie erhöhenα und βgleichzeitig. Die Beziehung ist nur garantiert, wenn Sie kritische Werte anpassen

Cort Ammon
quelle
1
"The relationship is only" - it seems the tail end of your answer was cut off?
Silverfish