Ist MLE von asymptotisch normal, wenn ?

Angenommen, hat das PDF $(X,Y)$

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

Die Dichte der Stichprobe die aus dieser Population gezogen wird, ist daher $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$

\begin{aligned} g_{θ} (x, y) & = \prod_{i = 1}^{n} f_{θ} (x_{i}, y_{i}) \\ = \exp [- \sum_{i = 1}^{n} (\frac{x_{i}}{θ} + θ y_{i})] 1_{x_{1}, \dots, x_{n}, y_{1}, \dots, y_{n} > 0} \\ = \exp [- \frac{n \bar{x}}{θ} - θ n \bar{y}] 1_{x_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

Der Maximum-Likelihood-Schätzer von $\theta$ kann abgeleitet werden als

\hat{θ} (X, Y) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

Ich möchte wissen, ob die Grenzverteilung dieser MLE normal ist oder nicht.

Es ist klar, dass eine ausreichende Statistik für $\theta$ basierend auf der Stichprobe $(\overline X,\overline Y)$ .

Jetzt hätte ich gesagt, dass die MLE ohne Zweifel asymptotisch normal ist, wenn sie ein Mitglied der regulären Exponentialfamilie mit einem Parameter wäre. Ich denke nicht, dass dies der Fall ist, teilweise weil wir eine zweidimensionale ausreichende Statistik für einen eindimensionalen Parameter haben (wie zum Beispiel in der -Verteilung). $N(\theta,\theta^2)$

Anhand der Tatsache, dass und tatsächlich unabhängige Exponentialvariablen sind, kann ich zeigen, dass die genaue Verteilung von ist, dass $X$ $Y$ $\hat\theta$

\frac{\hat{θ}}{θ} \overset{d}{=} \sqrt{F}, where F \sim F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

Ich kann unmöglich fortfahren, die Grenzverteilung von hier aus zu finden.

Stattdessen kann ich von WLLN argumentieren, dass und , so dass . $\overline X\stackrel{P}\longrightarrow\theta$ $\overline Y\stackrel{P}\longrightarrow 1/\theta$ $\hat\theta\stackrel{P}\longrightarrow\theta$

Dies sagt mir, dass in der Verteilung zu konvergiert . Dies ist jedoch keine Überraschung, da ein 'guter' Schätzer für . Und dieses Ergebnis ist nicht stark genug, um zu schließen, ob so etwas wie asymptotisch normal ist oder nicht. Ich konnte auch mit CLT kein vernünftiges Argument finden. $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$

Es bleibt also die Frage, ob die Elternverteilung hier die Regelmäßigkeitsbedingungen erfüllt, damit die Grenzverteilung von MLE normal ist.

maximum-likelihood convergence exponential asymptotics central-limit-theorem HartnäckigAtom
quelle

Empirisch scheint es sehr normal zu sein. Möglicherweise fällt es Ihnen leichter, auf (dies ist nur ein Skalierungsfaktor) und dann zu prüfen, ob die Verteilung der Quadratwurzel des Verhältnisses der Stichprobenmittelwerte der exponentiellen Zufallsvariablen asymptotisch normal ist. Unter Verwendung der Delta-Methode entspricht dies der Verteilung des Verhältnisses der Stichprobenmittelwerte der asymptotisch normalen exponentiellen Zufallsvariablen. Und das entspricht der Verteilung des Verhältnisses zweier iid-Gamma-Zufallsvariablen, die mit zunehmendem Formparameter asymptotisch normal sind.

θ

$\theta$

1

$1$

Henry

Die asymptotische Normalität von MLEs hat nichts mit exponentiellen Familien zu tun. Damit die asymptotische Normalität erhalten bleibt, müssen Sie intuitiv nur sicherstellen, dass keine Chance besteht, dass sich die Lösung nahe der Grenze des Parameterraums befindet.

whuber

@whuber Soweit ich weiß, haben PDFs, die Mitglieder der kanonischen Exponentialfamilie sind, fast immer MLEs, die asymptotisch normal sind (nicht, dass dies an der Exp-Familie liegt). Das ist der Zusammenhang, auf den ich hinweisen wollte.

Hartnäckig

Richtig: aber die Verbindung ist eine Möglichkeit. Die asymptotischen Ergebnisse für MLE sind weitaus allgemeiner, und deshalb wollte ich vorschlagen, dass ein Blick in diese allgemeine Richtung, anstatt sich auf Eigenschaften exponentieller Familien zu konzentrieren, eine fruchtbarere Untersuchung sein könnte.

whuber

Antworten:

Ein direkter Beweis für asymptotische Normalität:

Die Log-Wahrscheinlichkeit hier ist

L = - \frac{n \bar{x}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

Die erste und zweite Ableitung sind

\frac{\partial L}{\partial θ} = \frac{n \bar{x}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{x}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

Die MLE erfüllt $\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

Anwenden einer Mittelwerterweiterung um den wahren Wert wir haben $\theta_0$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

für einige zwischen und . Neu arrangieren haben wir, $\tilde \theta_n$ $\hat \theta_n$ $\theta_0$

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

In unserem Einzelparameterfall ist die Umkehrung jedoch nur der Kehrwert. Wenn Sie also auch die spezifischen Ausdrücke der Ableitungen einfügen,

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{x}} (\frac{n \bar{x}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \sqrt{n} \cdot (\bar{x} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \cdot (n^{- 1 / 2} \sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

Die Varianz der Summe ist

Var (\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

Manipulieren des Ausdrucks, den wir schreiben können, unter Verwendung von für die Summe der iid-Elemente. $S_n$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

haben wir , also . Wir haben also das Thema einer klassischen CLT, und man kann überprüfen, ob die Lindeberg-Bedingung erfüllt ist. Es folgt dem $E(x_i-\theta_0^2 y_i) = 0$ $E(S_n)=0$

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{d} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

Aufgrund der Konsistenz des Schätzers haben wir auch

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

und nach Slutskys Theorem kommen wir zu

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{d} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

Nett. Verdoppeln Sie die Informationen, die Hälfte der Varianz (im Vergleich zu dem Fall, in dem wir basierend auf einer Stichprobe aus einer einzelnen Zufallsvariablen schätzen würden ). $\theta_0$

PS: Die Tatsache, dass in den obigen Ausdrücken im Nenner erscheint, deutet auf @ whubers Kommentar hin, dass die asymptotische Normalität von MLE erfordert, dass der unbekannte Parameter von der Grenze des Parameterraums entfernt ist (in unserem Fall von Null entfernt). $\theta_0$

Alecos Papadopoulos
quelle

Entschuldigung für die späte Antwort. Die ganze Zeit über habe ich darüber nachgedacht, ob dies eine gekrümmte exponentielle Familie ist und die MLE sich daher möglicherweise anders verhält.

Hartnäckig

@StubbornAtom Asymptotische Normalität geht sicherlich verloren, wenn sich der zu schätzende Parameter an der Grenze des Parameters befindet (ein recht intuitives Ergebnis, wenn Sie darüber nachdenken).

Alecos Papadopoulos