Was sind die "wünschenswerten" statistischen Eigenschaften des Likelihood-Ratio-Tests?

11

Ich lese einen Artikel, dessen Methode vollständig auf dem Likelihood-Ratio-Test basiert. Der Autor sagt, dass der LR-Test gegen einseitige Alternativen UMP ist. Er fährt fort, indem er das behauptet

"... selbst wenn nicht gezeigt werden kann, dass es [der LR-Test] einheitlich am leistungsstärksten ist, hat der LR-Test oft wünschenswerte statistische Eigenschaften."

Ich frage mich, welche statistischen Eigenschaften hier gemeint sind. Angesichts der Tatsache, dass sich der Autor auf diejenigen bezieht, die nebenbei vorkommen, gehe ich davon aus, dass sie unter Statistikern allgemein bekannt sind.

Die einzige wünschenswerte Eigenschaft, die ich bisher gefunden habe, ist die asymptotische Chi-Quadrat-Verteilung von (unter bestimmten Regelmäßigkeitsbedingungen), wobei λ das LR-Verhältnis ist.2logλλ

Ich wäre auch dankbar für einen Verweis auf einen klassischen Text, in dem man über die gewünschten Eigenschaften lesen kann.

Sergey Zykov
quelle
Sie können einen Blick auf (Kap. 15 und 16) von van Der Waart werfen: "Asymptotic Statistics".
kjetil b halvorsen

Antworten:

5

Es könnte gut sein zu lesen Was folgt, wenn wir die Nullhypothese nicht ablehnen? vor der Erklärung unten.

Wünschenswerte Eigenschaften: Leistung

Beim Testen von Hypothesen besteht das Ziel darin, 'statistische Beweise' für . Dadurch können wir Fehler vom Typ I machen, dh wir lehnen H 0 ab (und entscheiden, dass es Beweise für H 1 gibt ), während H 0 wahr war (dh H 1 ist falsch). Ein Fehler vom Typ I ist also das Finden falscher Beweise für H 1 .H1H0H1H0H1H1

Ein Fehler vom Typ II wird gemacht, wenn nicht zurückgewiesen werden kann, während es in der Realität falsch ist, dh wir akzeptieren H 0 und wir vermissen die Beweise für H 1 .H0H0H1

Die Wahrscheinlichkeit eines Fehlers vom Typ I wird mit , dem gewählten Signifikanzniveau, bezeichnet. Die Wahrscheinlichkeit eines Fehlers vom Typ II wird als β bezeichnet und 1 - β wird als Potenz des Tests bezeichnet. Es ist die Wahrscheinlichkeit, Beweise für H 1 zu finden, wenn H 1 wahr ist.αβ1βH1H1

Beim Testen statistischer Hypothesen legt der Wissenschaftler einen oberen Schwellenwert für die Wahrscheinlichkeit eines Fehlers vom Typ I fest und versucht unter dieser Bedingung, einen Test mit maximaler Leistung zu finden, wenn .α

Die wünschenswerten Eigenschaften von Likelihood-Ratio-Tests haben mit Leistung zu tun

In einem Hypothesentest gegen H 1 : θ = θ 1 werden die Nullhypothese und die Alternativhypothese als "einfach" bezeichnet, dh der Parameter ist auf einen Wert festgelegt, genauso gut unter H 0 wie unter H 1 (genauer; die Verteilungen sind vollständig bestimmt). H0:θ=θ0H1:θ=θ1H0H1

Das Neyman-Pearson-Lemma besagt, dass für Hypothesentests mit einfachen Hypothesen und für eine gegebene Fehlerwahrscheinlichkeit vom Typ I ein Likelihood-Ratio-Test die höchste Leistung hat. Offensichtlich ist eine hohe Leistung bei eine wünschenswerte Eigenschaft: Die Leistung ist ein Maß dafür, wie einfach es ist, Beweise für H 1 zu finden .αH1

Wenn die Hypothese zusammengesetzt ist; wie z. B. gegen H 1 : θ > θ 1, dann kann das Neyman-Pearson-Lemma nicht angewendet werden, da es 'Mehrfachwerte in H 1 ' gibt. Wenn man einen Test so finden kann, dass er für jeden Wert "unter H 1 " am stärksten ist , dann wird dieser Test als "einheitlich am stärksten" (UMP) bezeichnet (dh für jeden Wert unter H 1 am stärksten ).H0:θ=θ1H1:θ>θ1H1H1H1

Es gibt einen Satz von Karlin und Rubin, der die notwendigen Bedingungen für einen Likelihood-Ratio-Test liefert, um einheitlich am leistungsfähigsten zu sein. Diese Bedingungen sind für viele einseitige (univariate) Tests erfüllt.

Die wünschenswerte Eigenschaft des Likelihood-Ratio-Tests liegt also in der Tatsache, dass er in mehreren Fällen die höchste Leistung aufweist (wenn auch nicht in allen Fällen).

In den meisten Fällen die Existenz eines UMP Test nicht gezeigt und in vielen Fällen werden können (vor allem die multivariate) geht hervor, dass ein UMP Test nicht gezeigt werden , nicht vorhanden sind . In einigen dieser Fälle werden Likelihood-Ratio-Tests jedoch aufgrund ihrer wünschenswerten Eigenschaften (im obigen Kontext) angewendet, weil sie relativ einfach anzuwenden sind und manchmal, weil keine anderen Tests definiert werden können.

Der einseitige Test, der auf der Standardnormalverteilung basiert, ist beispielsweise UMP.

Intuition hinter dem Likelihood-Ratio-Test:

Wenn ich gegen H 1 : θ = θ 1 testen möchte, brauchen wir eine Beobachtung o, die aus einer Probe abgeleitet wurde. Beachten Sie, dass dies ein einzelner Wert ist. H0:θ=θ0H1:θ=θ1o

Wir wissen, dass entweder wahr ist oder H 1 wahr ist, also kann man die Wahrscheinlichkeit von o berechnen, wenn H 0 wahr ist (nennen wir es L 0 ) und auch die Wahrscheinlichkeit, o zu beobachten, wenn H 1 wahr ist (nennen wir es L) 1 ).H0H1oH0L0oH1L1

L1>L0H1L1L0>1H1H0

L1L01.001L1L0

Ich habe dieses PDF im Internet gefunden.

Gemeinschaft
quelle
1
Ich denke, dies übersieht die Frage des OP: Das Zitat besagt, dass das LRT , auch wenn nicht gezeigt werden kann, dass es UMP ist, noch andere attraktive Merkmale aufweist. Was sind also die attraktiven Funktionen, die nicht UMP sind?
Cliff AB
@Cliff AB: Ich denke, das steht am Ende des ersten Abschnitts und der zweite Abschnitt erklärt intuitiv, warum es sinnvoll ist, LRT zu verwenden. Beachten Sie, dass es in den meisten Fällen kein UMP gibt und wenn es keinen "besten Test" oder keine Alternative gibt, ist es nicht unangemessen, etwas zu nehmen, das "Sinn macht", denke ich? Wenn Sie jedoch zusätzliche Elemente haben, können Sie diese in Ihrer eigenen Antwort veröffentlichen. Das ist die Idee hinter SE, denke ich.
Vielleicht lese ich nur das Originalzitat etwas anders: Ich lese es als "LRT hat neben der Leistung noch andere attraktive Eigenschaften".
Cliff AB
1
@CliffAB Ich stimme Ihrem Kommentar zu. Anscheinend hat der Autor des Artikels, auf den ich in meiner Frage verwiesen habe, gemeint, dass LRT aus irgendeinem Grund gut ist, auch wenn es kein UMP-Test ist, und ich hoffe, dass dieser Grund nicht nur die einfache Implementierung oder ist das Fehlen anderer Alternativen. Ich vermute (hoffe), dass das LRT einige gute asymptotische Eigenschaften hat (z. B. ist es konsistent, dh seine Leistung für jedenH.1 geht zu 1wenn wir die Anzahl der Beobachtungen erhöhen).
Sergey Zykov
Unterschätzen Sie nicht die einfache Implementierung!
Cliff AB