Wie definiere ich einen Ablehnungsbereich ohne UMP?

Betrachten Sie das lineare Regressionsmodell

$\mathbf{y}=\mathbf{X\beta}+\mathbf{u}$ ,

$\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I})$ ,

$E(\mathbf{u}\mid\mathbf{X})=\mathbf{0}$ .

Sei vs . $H_0: \sigma_0^2=\sigma^2$ $H_1: \sigma_0^2\neq\sigma^2$

Wir können ableiten, dass , wobei . Und ist die typische Notation für die Vernichtermatrix, , wobei die abhängige Variable ist sich auf . $\frac{\mathbf{y}^T\mathbf{M_X}\mathbf{y}}{\sigma^2}\sim \chi^2(n-k)$ $dim(\mathbf{X})=n\times k$ $\mathbf{M_X}$ $\mathbf{M_X}\mathbf{y}=\hat{\mathbf{y}}$ $\hat{\mathbf{y}}$ $\mathbf{y}$ $\mathbf{X}$

Das Buch, das ich lese, besagt Folgendes:

Ich habe zuvor gefragt, nach welchen Kriterien ein Ablehnungsbereich (Rejection Region, RR) definiert werden soll. Die Antworten auf diese Frage lauten: Wählen Sie den RR aus, der den Test so leistungsfähig wie möglich gemacht hat.

In diesem Fall gibt es normalerweise keinen UMP-Test, wobei die Alternative eine bilaterale zusammengesetzte Hypothese ist. Außerdem zeigen die Autoren anhand der im Buch gegebenen Antwort nicht, ob sie die Leistung ihrer RR untersucht haben. Trotzdem entschieden sie sich für eine zweiseitige RR. Warum ist das so, da die Hypothese die RR nicht "einseitig" bestimmt?

Bearbeiten: Dieses Bild befindet sich im Lösungshandbuch dieses Buches als Lösung für Aufgabe 4.14.

regression hypothesis-testing mathematical-statistics inference Ein alter Mann im Meer.
quelle

Bitte fügen Sie dem Buch einen Verweis hinzu. Verwandte: P-Wert in einem Two-Tail-Test mit asymmetrischer Nullverteilung .

Scortchi

@Scortchi danke für den Link. Darf ich Sie etwas zu dieser Frage fragen? Findest du es interessant? Ich versuche zu beurteilen, ob ich interessante Fragen stelle oder ob ich meine Interessen auf andere Gebiete richten soll ...

Ein alter Mann im Meer.

Natürlich findet nicht jeder die Theorie interessant, aber einige Leute (einschließlich mir) und wir haben fast 2k qs mit getaggtmathematical-statistics . Also, ein feines q. IMO. Es ist ein wenig weit gefasst, aber ich denke, eine gute Antwort würde verschiedene Ansätze und Überlegungen zusammenfassen, und ein motivierendes Beispiel hilft sehr. (Ich hätte jedoch ein möglichst einfaches Beispiel gewählt - Tests über die Varianz einer Normalverteilung mit bekanntem Mittelwert oder dem Mittelwert einer Exponentialverteilung.) [Übrigens vergesse ich oft, über qs abzustimmen, wenn ich sie kommentiere .]

Scortchi

@Scortchi danke für dein feedback. Manchmal bin ich mir nicht sicher, ob ich die Frage gut strukturiere, da ich das selbst studiere.

Ein alter Mann im Meer.

Sie sollten

M_{X}

$M_X$

Taylor

Antworten:

Es ist einfacher, zunächst den Fall durchzuarbeiten, in dem die Regressionskoeffizienten bekannt und die Nullhypothese daher einfach ist. Dann ist die ausreichende Statistik , wobei der Rest ist; ihre Verteilung unter der Null ist auch ein Chi-Quadrat von skalierten & Freiheitsgraden mit zu der Probengröße gleich . $T=\sum z^2$ $z$ $\sigma^2_0$ $n$

Schreiben Sie das Verhältnis der Wahrscheinlichkeiten unter & und bestätigen Sie, dass es eine zunehmende Funktion von für : $\sigma=\sigma_1$ $\sigma=\sigma_2$ $T$ $\sigma_2 > \sigma_1$

Die logarithmische Wahrscheinlichkeitsverhältnisfunktion ist , & direkt proportional zumit positivem Gradienten, wenn.
$ℓ (σ_{2}; T, n) - ℓ (σ_{1}; T, n) = \frac{n}{2} \cdot [\log (\frac{σ_{1}^{2}}{σ_{2}^{2}}) + \frac{T}{n} \cdot (\frac{1}{σ_{1}^{2}} - \frac{1}{σ_{2}^{2}})]$ $\ell(\sigma_2;T,n)-\ell(\sigma_1;T,n)=\frac{n}{2} \cdot \left[\log \left(\frac{\sigma_1^2}{\sigma_2^2}\right) + \frac{T}{n} \cdot \left(\frac{1}{\sigma_1^2} - \frac{1}{\sigma_2^2}\right) \right]$ $T$ $\sigma_2>\sigma_1$

Nach dem Karlin-Rubin-Theorem ist jeder der einseitigen Tests gegen & gegen gleichmäßig am leistungsstärksten. Offensichtlich gibt es keinen UMP Test von vs . Wie hier besprochen $H_0:\sigma=\sigma_0$ $H_\mathrm{A}:\sigma < \sigma_0$ $H_0:\sigma = \sigma_0$ $H_\mathrm{A}:\sigma < \sigma_0$ $H_0:\sigma = \sigma_0$ $H_\mathrm{A}:\sigma \neq \sigma_0$ Wenn Sie sowohl einseitige Tests als auch eine Mehrfachvergleichskorrektur durchführen, führt dies zu dem häufig verwendeten Test mit gleich großen Ablehnungsbereichen in beiden Schwänzen. Dies ist durchaus sinnvoll, wenn Sie behaupten, dass entweder oder wenn Sie die Null ablehnen. $\sigma>\sigma_0$ $\sigma<\sigma_0$

Finden nächste das Verhältnis der Wahrscheinlichkeiten unter , die Maximum-Likelihood - Schätzung von & : $\sigma=\hat\sigma$ $\sigma$ $\sigma=\sigma_0$

Wie ist die logWahrscheinlichkeitsverhältnisTeststatistik $\hat\sigma^2=\frac{T}{n}$
$ℓ (\hat{σ}; T, n) - ℓ (σ_{0}; T, n) = \frac{n}{2} \cdot [\log (\frac{n σ_{0}^{2}}{T}) + \frac{T}{n σ_{0}^{2}} - 1]$ $\ell(\hat\sigma;T,n)-\ell(\sigma_0;T,n)=\frac{n}{2} \cdot \left[\log \left(\frac{n\sigma_0^2}{T}\right) + \frac{T}{n\sigma_0^2} - 1 \right]$

Dies ist eine feine Statistik zur Quantifizierung, wie stark die Daten über . Und Konfidenzintervalle, die sich aus der Invertierung des Likelihood-Ratio-Tests ergeben, haben die ansprechende Eigenschaft, dass alle Parameterwerte innerhalb des Intervalls eine höhere Wahrscheinlichkeit aufweisen als diejenigen außerhalb. Die asymptotische Verteilung des doppelten Log-Likelihood-Verhältnisses ist bekannt, aber für einen genauen Test müssen Sie nicht versuchen, die Verteilung zu berechnen. Verwenden Sie einfach die Schwanzwahrscheinlichkeiten der entsprechenden Werte von in jedem Schwanz. $H_\mathrm{A}:\sigma \neq \sigma_0$ $H_0:\sigma = \sigma_0$ $T$

Wenn Sie keinen einheitlich leistungsstärksten Test haben können, möchten Sie vielleicht einen, der den Alternativen am nächsten kommt, die am leistungsstärksten sind. Bestimmen Sie die Ableitung der log-Likelihood-Funktion in Bezug auf - die Score-Funktion: $\sigma$

$\frac{d ℓ (σ; T, n)}{d σ} = \frac{T}{σ^{3}} - \frac{n}{σ}$ $\frac{\mathrm{d}\,\ell(\sigma;T,n)}{\mathrm{d}\,\sigma}=\frac{T}{\sigma^3} - \frac{n}{\sigma}$

$\sigma_0$ $H_0:\sigma=\sigma_0$ $H_\mathrm{A}:\sigma \neq \sigma_0$

$\alpha$ $\phi(T)= 1$ $T<c_1$ $T>c_2$ $\phi(T)= 0$

\begin{aligned} E (ϕ (T)) & = α \\ E (T ϕ (T)) & = α E T \end{aligned}

$\begin{align} \operatorname{E}(\phi(T)) &= \alpha \\ \operatorname{E}(T\phi(T)) &= \alpha \operatorname{E} T \end{align}$

Ein Plot hilft dabei, die Verzerrung im Gleichschwanzbereichstest zu zeigen und wie sie entsteht:

$\sigma$ $\sigma_0$

Unparteilichkeit ist gut; Es ist jedoch nicht selbstverständlich, dass eine Leistung, die geringfügig unter der Größe eines kleinen Bereichs des Parameterraums in der Alternative liegt, so schlecht ist, dass ein Test insgesamt ausgeschlossen ist.

Zwei der oben genannten zweiseitigen Tests stimmen überein (in diesem Fall nicht generell):

Das LRT ist UMP unter den unvoreingenommene Tests. In Fällen, in denen dies nicht zutrifft, kann das LRT immer noch asymptotisch unvoreingenommen sein.

Ich denke, alle Tests, auch die einseitigen Tests, sind zulässig, dh es gibt keinen leistungsstärkeren oder unter allen Alternativen so leistungsfähigen Test. Sie können den Test gegenüber Alternativen in der einen Richtung leistungsstärker machen, indem Sie ihn gegenüber Alternativen in der anderen Richtung weniger leistungsfähig machen Richtung. Wenn die Stichprobengröße zunimmt, wird die Chi-Quadrat-Verteilung immer symmetrischer, und alle zweiseitigen Tests bleiben weitgehend gleich (ein weiterer Grund für die Verwendung des einfachen Tests mit gleichem Schwanz).

Mit der zusammengesetzten Nullhypothese werden die Argumente etwas komplizierter, aber ich denke, Sie können mutatis mutandis praktisch die gleichen Ergebnisse erzielen. Beachten Sie, dass einer der einseitigen Tests UMP ist, der andere jedoch nicht!

Scortchi - Wiedereinsetzung von Monica
quelle

Scortchi danke für deine Antwort. Ich habe jedoch noch einige Zweifel. Könnten Sie zunächst den folgenden Satz etwas näher erläutern? «Das Anwenden einer Mehrfachvergleichskorrektur führt zu dem häufig verwendeten Test mit gleich großen Ablehnungsbereichen in beiden Schwänzen, und es ist durchaus sinnvoll, wenn Sie behaupten, dass entweder σ> σ0 oder σ <σ0 ist, wenn Sie die Null ablehnen.» Auch warum sagst du, dass es vernünftig ist? Ich denke, das ist der Kern meiner Frage, wenn ich mich nicht irre. ;)

Ein alter Mann im Meer.

Ich habe diesen Absatz aus Ihrer verknüpften Antwort gelesen, aber ich habe ihn nicht gut verstanden. «Die Verdoppelung des niedrigsten einseitigen p-Werts kann als Mehrfachvergleichskorrektur für die Durchführung von zwei einseitigen Tests angesehen werden.» Ich wäre dankbar, wenn Sie könnten es bitte etwas näher erläutern. ;)

Ein alter Mann im Meer.

α / 2

$\alpha/2$

α

$\alpha$

α

$\alpha$

In diesem Fall gibt es normalerweise keinen UMP-Test, wobei die Alternative eine bilaterale zusammengesetzte Hypothese ist.

Ich bin mir nicht sicher, ob das überhaupt stimmt. Sicherlich basieren viele der klassischen Ergebnisse (Neymon-Pearson, Karlin-Rubin) entweder auf einer einfachen oder einer einseitigen Hypothese, aber es gibt Verallgemeinerungen für zweiseitige zusammengesetzte Hypothesen. Einige Hinweise dazu finden Sie hier und weitere Erläuterungen im Lehrbuch hier .

$\chi^2$

Greenparker
quelle

σ_{0}

$\sigma_0$