Likelihood Ratio für die Exponentialverteilung mit zwei Stichproben

Sei und zwei unabhängige Zufallsvariablen mit entsprechenden PDFs: $X$ $Y$

f (x; θ_{i}) = {\begin{cases} \frac{1}{θ_{i}} e^{- x / θ_{i}} 0 < x < \infty, 0 < θ_{i} < \infty \\ 0 elsewhere \end{cases}

$f \left(x;\theta_i \right) =\begin{cases} \frac{1}{\theta_i} e^{-x/ {\theta_i}} \quad 0<x<\infty, 0<\theta_i< \infty \\ 0 \quad \text{elsewhere} \end{cases}$

für . Aus diesen Verteilungen werden zwei unabhängige Proben gezogen, um gegen der Größen und zu testen . Ich muss zeigen, dass LRT als Funktion einer Statistik mit Verteilung unter . $i=1,2$ $H_0: \theta_1 =\theta_2$ $H_1 : \theta_1 \neq \theta_2$ $n_1$ $n_2$ $\Lambda$ $F$ $H_0$

Da die Größe dieser Verteilung , wird die LRT-Statistik (ich überspringe hier einige mühsame Schritte): $\hat{\theta}=\bar{x}$

Λ = \frac{{\bar{x}}^{n_{1}} {\bar{y}}^{n_{2}} (n_{1} + n_{2})}{n_{1} \bar{x} + n_{2} \bar{y}}

$\Lambda =\frac{\bar{x}^{n_1} \bar{y}^{n_2} \left( n_1+n_2 \right)}{n_1 \bar{x}+n_2 \bar{y}}$

Ich weiß, dass die Verteilung als Quotient zweier unabhängiger Chi-Quadrat-Zufallsvariablen definiert ist, die sich jeweils über ihre jeweiligen Freiheitsgrade erstrecken. Da unter der Null steht, dann und . $F$ $X_i,Y_i \sim \Gamma \left( 1,\theta_1 \right)$ $\sum X_i \sim \Gamma \left(n_1 ,\theta_1 \right)$ $\sum Y_i \sim \Gamma \left(n_2, \theta_1 \right)$

Aber wie kann ich von hier aus vorgehen? Irgendwelche Hinweise?

Vielen Dank.

distributions self-study likelihood-ratio JohnK
quelle

Hinweis: Eine exponentielle Zufallsvariable ist linear mit einer Zufallsvariablen mit zwei Freiheitsgraden verbunden, und daher ist eine Zufallsvariable mit dem Ordnungsparameter linear mit einer Zufallsvariablen mit Freiheitsgraden verbunden .

χ^{2}

$\chi^2$

Γ

$\Gamma$

n

$n$

χ^{2}

$\chi^2$

2 n

$2n$

Dilip Sarwate

@ DilipSarwate Ich kann sehen, dass . Sollte ich weitermachen und versuchen, meine Fraktion entsprechend umzuformulieren?

Z = \frac{2}{θ_{1}} \sum X_{i} \sim χ^{2} (2 n_{1})

$Z= \frac {2}{\theta_1} \sum X_i \sim \chi^2 \left(2n_1 \right)$

JohnK

Vielleicht müssen Sie die wenigen mühsamen Schritte nicht überspringen und das Wahrscheinlichkeitsverhältnis tatsächlich von Grund auf neu ableiten, anstatt zu Maximum-Likelihood- Schätzern zu springen . Dies ist ein Problem beim Testen von Hypothesen, nicht bei der Maximum-Likelihood-Schätzung eines unbekannten Parameters .

θ_{i}

$\theta_i$

Dilip Sarwate

@ DilipSarwate Du hast es falsch verstanden. Ich habe diese Zwischenschritte aufgeschrieben, aber hier nicht vorgestellt. Dies erhalten Sie nach der Vereinfachung.

JohnK

Vielleicht können Sie mir (übrigens einem Nicht-Statistiker) zunächst erklären, was das T in LRT bedeutet.

Dilip Sarwate

Antworten:

Wenn Speicherplatz zur Verfügung steht, haben Sie anscheinend etwas in Ihrer LR-Statistik vergessen.

Die Wahrscheinlichkeitsfunktion unter der Null ist

L_{H_{0}} = θ^{- n_{1} - n_{2}} \cdot \exp {- θ^{- 1} (\sum x_{i} + \sum y_{i})}

$L_{H_0} = \theta^{-n_1-n_2}\cdot \exp\left\{-\theta^{-1}\left(\sum x_i+\sum y_i\right)\right\}$

und die MLE ist

{\hat{θ}}_{0} = \frac{\sum x_{i} + \sum y_{i}}{n_{1} + n_{2}} = w_{1} \bar{x} + w_{2} \bar{y}, w_{1} = \frac{n_{1}}{n_{1} + n_{2}}, w_{2} = \frac{n_{2}}{n_{1} + n_{2}}

$\hat \theta_0 = \frac {\sum x_i+\sum y_i}{n_1+n_2} = w_1\bar x +w_2 \bar y, \;\; w_1=\frac {n_1}{n_1+n_2},\;w_2=\frac {n_2}{n_1+n_2}$

Also

L_{H_{0}} ({\hat{θ}}_{0}) = ({\hat{θ}}_{0})^{- n_{1} - n_{2}} \cdot e^{- n_{1} - n_{2}}

$L_{H_0}(\hat \theta_0) = (\hat \theta_0)^{-n_1-n_2}\cdot e^{-n_1-n_2}$

Alternativ ist die Wahrscheinlichkeit

L_{H_{1}} = θ_{1}^{- n_{1}} \cdot \exp {- θ_{1}^{- 1} (\sum x_{i})} \cdot θ_{2}^{- n_{2}} \cdot \exp {- θ_{2}^{- 1} (\sum y_{i})}

$L_{H_1} = \theta_1^{-n_1}\cdot \exp\left\{-\theta_1^{-1}\left(\sum x_i\right)\right\}\cdot \theta_2^{-n_2}\cdot \exp\left\{-\theta_2^{-1}\left(\sum y_i\right)\right\}$

und die MLE sind

{\hat{θ}}_{1} = \frac{\sum x_{i}}{n_{1}} = \bar{x}, {\hat{θ}}_{2} = \frac{\sum y_{i}}{n_{2}} = \bar{y}

$\hat \theta_1 = \frac {\sum x_i}{n_1} = \bar x, \qquad \hat \theta_2 = \frac {\sum y_i}{n_2} = \bar y$

Also

L_{H_{1}} ({\hat{θ}}_{1}, {\hat{θ}}_{2}) = ({\hat{θ}}_{1})^{- n_{1}} ({\hat{θ}}_{2})^{- n_{2}} \cdot e^{- n_{1} - n_{2}}

$L_{H_1}(\hat \theta_1,\,\hat \theta_2) = (\hat \theta_1)^{-n_1}(\hat \theta_2)^{-n_2}\cdot e^{-n_1-n_2}$

Betrachten Sie das Verhältnis

\frac{L_{H_{1}} ({\hat{θ}}_{1}, {\hat{θ}}_{2})}{L_{H_{0}} ({\hat{θ}}_{0})} = \frac{({\hat{θ}}_{0})^{n_{1} + n_{2}}}{({\hat{θ}}_{1})^{n_{1}} ({\hat{θ}}_{2})^{n_{2}}} = {(\frac{{\hat{θ}}_{0}}{{\hat{θ}}_{1}})}^{n_{1}} \cdot {(\frac{{\hat{θ}}_{0}}{{\hat{θ}}_{2}})}^{n_{2}}

$\frac {L_{H_1}(\hat \theta_1,\,\hat \theta_2)}{L_{H_0}(\hat \theta_0)} = \frac {(\hat \theta_0)^{n_1+n_2}}{(\hat \theta_1)^{n_1}(\hat \theta_2)^{n_2}}=\left(\frac {\hat \theta_0}{\hat \theta_1}\right)^{n_1} \cdot \left(\frac {\hat \theta_0}{\hat \theta_2}\right)^{n_2}$

= {(w_{1} + w_{2} \frac{\bar{y}}{\bar{x}})}^{n_{1}} \cdot {(w_{1} \frac{\bar{x}}{\bar{y}} + w_{2})}^{n_{2}}

$= \left(w_1 + w_2 \frac {\bar y}{\bar x}\right)^{n_1} \cdot \left(w_1\frac {\bar x}{\bar y} + w_2 \right)^{n_2}$

Die Beispielmittel sind unabhängig - daher glaube ich, dass Sie dies jetzt beenden können.

Alecos Papadopoulos
quelle

Es ist nicht sehr wichtig, aber ich denke, Sie sollten das LRT als Kehrwert des von Ihnen verwendeten Bruches definieren, siehe stats.ox.ac.uk/~dlunn/b8_02/b8pdf_8.pdf .

JohnK

Der Kehrwert wurde verwendet, weil er bei den algebraischen Manipulationen hilft. Wenn dieser Teil erledigt ist, nimmt man nur das Negative der äußeren Kräfte.

Alecos Papadopoulos

In Ordung. Um zu zeigen, dass der Bruch einer F-Verteilung folgt, reicht es aus, ihn als zu schreiben , richtig?

\frac{\bar{X}}{\bar{Y}}

$\frac{\bar{X}}{\bar{Y}}$

\frac{\frac{2 \sum X_{i}}{2 θ_{1} n_{1}}}{\frac{2 \sum Y_{i}}{2 θ_{1} n_{2}}}

$\frac{\frac{2\sum X_i}{2 \theta_1 n_1}}{\frac{2\sum Y_i}{2 \theta_1 n_2 }}$

JohnK

Wenn das tatsächlich eine korrekte "Verbindung" zwischen Gammas und Chi-Quadraten ist.

Alecos Papadopoulos

Ja, Und wir müssen auch durch die Freiheitsgrade . Vielen Dank.

\frac{2}{θ_{1}} \sum X_{i} \sim χ^{2} (2 n_{1})

$\frac{2}{\theta_1} \sum X_i \sim \chi^2 \left( 2n_1 \right)$

2 n_{1}

$2n_1$

JohnK

Die Wahrscheinlichkeitsfunktion für die Stichprobe ist gegeben durch $\mathbf x=(x_1,\ldots,x_{n_1},y_1,\ldots,y_{n_2})$

\begin{aligned} L (θ_{1}, θ_{2}) & = \frac{1}{θ_{1}^{n_{1}} θ_{2}^{n_{2}}} \exp [- \frac{1}{θ_{1}} \sum_{i = 1}^{n_{1}} x_{i} - \frac{1}{θ_{2}} \sum_{i = 1}^{n_{2}} y_{i}] 1_{x > 0}, θ_{1}, θ_{2} > 0 \end{aligned}

$\begin{align} L(\theta_1,\theta_2)&=\frac{1}{\theta_1^{n_1}\theta_2^{n_2}}\exp\left[-\frac{1}{\theta_1}\sum_{i=1}^{n_1} x_i-\frac{1}{\theta_2}\sum_{i=1}^{n_2}y_i\right]\mathbf1_{\mathbf x>0}\quad,\,\theta_1,\theta_2>0 \end{align}$

Das LR-Testkriterium zum Testen von gegen hat die Form $H_0:\theta_1=\theta_2$ $H_1:\theta_1\ne \theta_2$

\begin{aligned} λ (x) & = \frac{sup_{θ_{1} = θ_{2}} L (θ_{1}, θ_{2})}{sup_{θ_{1}, θ_{2}} L (θ_{1}, θ_{2})} = \frac{L (\hat{θ}, \hat{θ})}{L ({\hat{θ}}_{1}, {\hat{θ}}_{2})} \end{aligned}

$\begin{align} \lambda(\mathbf x)&=\frac{\sup\limits_{\theta_1=\theta_2}L(\theta_1,\theta_2)}{\sup\limits_{\theta_1,\theta_2}L(\theta_1,\theta_2)} =\frac{L(\hat\theta,\hat\theta)}{L(\hat\theta_1,\hat\theta_2)} \end{align}$

wobei die MLE von (unter ) ist und die uneingeschränkte MLE von für . $\hat\theta$ $\theta_1=\theta_2$ $H_0$ $\hat\theta_i$ $\theta_i$ $i=1,2$

Es ist leicht zu überprüfen, dass

({\hat{θ}}_{1}, {\hat{θ}}_{2}) = (\bar{x}, \bar{y})

$(\hat\theta_1,\hat\theta_2)=(\bar x,\bar y)$

und

\hat{θ} = \frac{n_{1} \bar{x} + n_{2} \bar{y}}{n_{1} + n_{2}}

$\hat\theta=\frac{n_1\bar x+n_2\bar y}{n_1+n_2}$

Nach einiger Vereinfachung erhalten wir diese Symmetrie für das LRT-Kriterium:

\begin{aligned} λ (x) & = \underset{> 0}{\underset{⏟}{constant}} {(\frac{n_{1} \bar{x}}{n_{1} \bar{x} + n_{2} \bar{y}})}^{n_{1}} {(\frac{n_{2} \bar{y}}{n_{1} \bar{x} + n_{2} \bar{y}})}^{n_{2}} \\ = constant \cdot t^{n_{1}} (1 - t_{1})^{n_{2}}, where t = \frac{n_{1} \bar{x}}{n_{1} \bar{x} + n_{2} \bar{y}} \\ = g (t), say \end{aligned}

$\begin{align} \lambda(\mathbf x)&=\underbrace{\text{constant}}_{>0}\left(\frac{n_1\bar x}{n_1\bar x+n_2\bar y}\right)^{n_1}\left(\frac{n_2\bar y}{n_1\bar x+n_2\bar y}\right)^{n_2} \\&=\text{constant}\cdot\,t^{n_1}(1-t_1)^{n_2}\qquad,\text{ where }t=\frac{n_1\bar x}{n_1\bar x+n_2\bar y} \\&=g(t)\quad,\,\text{say} \end{align}$

wir die Natur der Funktion , sehen wir, dass $g$

g^{'} (t) ≷ 0 ⟺ t ≶ \frac{n_{1}}{n_{1} + n_{2}}

$g'(t)\gtrless 0\iff t\lessgtr \frac{n_1}{n_1+n_2}$

Da nun und unabhängig voneinander verteilt sind, haben wir $2n_1\overline X/\theta_1\sim \chi^2_{2n_1}$ $2n_2\overline Y/\theta_2\sim \chi^2_{2n_2}$

\frac{\bar{X}}{\bar{Y}} \overset{H_{0}}{\sim} F_{2 n_{1}, 2 n_{2}}

$\frac{\overline X}{\overline Y}\stackrel{H_0}{\sim}F_{2n_1,2n_2}$

Definiere

v = \frac{n_{1} \bar{x}}{n_{2} \bar{y}}

$v=\frac{n_1\overline x}{n_2\overline y}$

, so dass

t = \frac{v}{v + 1} ↑ v

$t=\frac{v}{v+1}\quad\uparrow\, v$

Deshalb,

λ (x) < c ⟺ v < c_{1} or v > c_{2}

$\lambda(\mathbf x)<c \iff v<c_1\quad\text{ or }\quad v>c_2$

Gegeben kann von einiger Größenbeschränkung und der Tatsache , dass unter finden , $c_1,c_2$ $H_0$

\frac{n_{2}}{n_{1}} v \sim F_{2 n_{1}, 2 n_{2}}

$\frac{n_2}{n_1}v\sim F_{2n_1,2n_2}$

HartnäckigAtom
quelle