Hilfe bei der Taylor-Erweiterung der Log-Likelihood-Funktion

Ich habe den folgenden Teil einer Skizze des Beweises, dass der Maximum-Likelihood-Schätzer asymptotisch normal ist, reed:

"Skizze des zweiten Teils des Beweises. Denken Sie daran, dass wir die Wahrscheinlichkeitsgleichung als wobei die Ableitung von in Bezug auf . Sei die Ableitung von in Bezug auf . Nun eine Taylor-Erweiterung um ergibt:

$$\sum_{i=0}^n U_i(\hat\theta)=0$$ $U_i(\phi)$$\log\! f(Y_i;\phi)$$\phi$$U_i'(\phi)$$\log\!f(Y_i;\phi)$$\phi$$\phi=\theta$

$$\sum_{i=0}^n U_i(\phi )-\sum_{i=0}^n U_i(\theta)\approx \left( \sum_{i=0}^n U_i'(\theta) \right)(\phi-\theta)$$ "

Diese Taylor-Erweiterung macht für mich keinen Sinn. Ich kenne eine Taylor-Erweiterung von bei als: I. Ich kann sehen, dass alle Begriffe außer dem zweiten Begriff aus der Taylor-Erweiterung der Log-Wahrscheinlichkeit ausgeschlossen sind, aber ich erkenne nicht, woher dieser Begriff stammt, da der ursprüngliche Begriff das Subtrahieren von zwei Summierungen beinhaltete.$f(x)$$a$

$$\sum_{i=0}^\infty\frac{f^{(n)}(a)}{n!}(x-a)^n$$

Sie sollten sich selbst davon überzeugen, dass nur eine andere Möglichkeit ist, die Taylor-Expansion auszudrücken (unter geeigneten Regelmäßigkeitsannahmen).$f(x)-f(y)\approx f'(x)(x-y)$

Mithilfe der Linearität der Ableitung können Sie sie dann auf die Summe verallgemeinern.

Ich denke, Ihr Problem ist nur das Notationsproblem

Beginnen wir von vorne;

Angenommen, sind iid Zufallsvariablen mit der Wahrscheinlichkeitsdichtefunktion$X_1, X_2,...,X_n$$f(x;\gamma)$

Normalerweise verwenden die Leute hier , ich werde es für die spätere Verwendung aufbewahren.$\theta$

Die Wahrscheinlichkeitsfunktion ist$L(\gamma;x)=f(x_1;\gamma)f(x_2;\gamma)...f(x_n;\gamma)$

Die logarithmische Wahrscheinlichkeitsfunktion$l(\gamma;x)=log[f(x_1;\gamma)f(x_2;\gamma)...f(x_n;\gamma)]=\sum_{i=1}^nlogf(x_i;\gamma)$

Wie üblich werden wir die logarithmische Wahrscheinlichkeit ableiten und auf Null setzen, dh$l'(\gamma;x)=0$

oder$\sum_{i=1}^nlog'f(x_i;\gamma)=0$

Hier sehen Sie $U_i(\gamma)=log'f(x_i;\gamma)$

$\therefore l'(\gamma)=\sum_{i=1}^nU_i(\gamma)\tag{1}$ wir hier , da die Log-Likelihood-Funktion eine Funktion von$x$$\gamma$

Als nächstes erweitern wir die Funktion in eine Taylor-Reihe der Ordnung zwei an .$l'(\gamma)$$\theta$

$l'(\gamma)=l'(\theta)+\frac{l''(\theta)}{1!}(\gamma-\theta)^1+\frac{l'''(\theta)}{2!}(\gamma-\theta)^2$ . Dies ist die Taylor-Erweiterung für .$l'(\gamma)$

Als nächstes bewerten wir die Gleichung bei$\phi$

$l'(\phi)=l'(\theta)+\frac{l''(\theta)}{1!}(\phi-\theta)^1+\frac{l'''(\theta)}{2!}(\phi-\theta)^2 \tag{2}$

Hier solltest du sehen, dass$l'(\theta)=\sum_{i=1}^nU_i(\theta)$

und$l'(\phi)=\sum_{i=1}^nU_i(\phi)$

und$l''(\phi)=\sum_{i=1}^nU_i'(\phi)$

Ref (1)

Wenn wir den dritten abgeleiteten Term in (2) ignorieren, wird Ihre Frage hier beantwortet

Wir erhalten, dass$\sum_{i=1}^n U_i(\phi )-\sum_{i=1}^n U_i(\theta)\approx \left( \sum_{i=1}^n U_i'(\theta) \right)(\phi-\theta)$

Übrigens denke ich, beginne normalerweise mit nicht mit , es ist sowieso nur ein Index.$i$$1$$0$

Hören wir hier nicht auf, wir können weiter gehen, um den Satz zu beweisen

Wir wissen, dass$l'(\phi)=0$

$\therefore l'(\theta)+\frac{l''(\theta)}{1!}(\phi-\theta)^1+\frac{l'''(\theta)}{2!}(\phi-\theta)^2=0$

dh

$l'(\theta)+(\phi-\theta)*[l''(\theta)+\frac{l'''(\theta)}{2}(\phi-\theta)]=0$

Als nächstes ordnen wir die obigen Begriffe neu:

$$(\phi-\theta)=\frac{l'(\theta)}{-l''(\theta)-\frac{l'''(\theta)}{2}(\phi-\theta)}$$

Wir multiplizieren für beide Seiten:$\sqrt{n}$

$$\sqrt{n}(\phi-\theta)=\frac{\sqrt{n}*l'(\theta)}{-l''(\theta)-\frac{l'''(\theta)}{2}(\phi-\theta)}\\=\frac{\frac{1}{\sqrt{n}}*l'(\theta)}{\frac{-l''(\theta)}{n}-\frac{l'''(\theta)}{2n}(\phi-\theta)} \tag{3}$$

(dividieren Sie durch n für Zähler und Nenner gleichzeitig für die linke Seite)

Lassen Sie uns sehen, was der Zähler auf der linken Seite von (3) ist :

$$\frac{1}{\sqrt{n}}l'(\theta)=\frac{1}{\sqrt{n}}\sum_{i=1}^n\frac{\partial logf(x_i;\theta)}{\partial \theta}$$

Und beachte, dass mit Varianz und

$$\frac{\partial logf(x_i;\theta)}{\partial \theta}$$ $I(\theta)$ $$E(\frac{\partial logf(x_i;\theta)}{\partial \theta})=0$$

$\therefore$ von CLT

$$\frac{1}{\sqrt{n}}l'(\theta)\sim \frac{1}{\sqrt{n}}N(0,nI(\theta))=N(0,I(\theta))$$

Als nächstes werden wir sehen, was im Nenner von (3) steht :

$$-\frac{l''(\theta)}{n}=-\frac{1}{n}\sum_{i=1}^n\frac{\partial^2 logf(x_i;\theta)}{\partial \theta}\overset{P}{\rightarrow} I(\theta)$$ nach dem Gesetz der großen Zahl.

Für den Term im Nenner von (3) können wir seine Konvergenz der Wahrscheinlichkeit gegen Null beweisen.

$$\frac{l'''(\theta)}{2n}(\phi-\theta)$$

Lassen Sie uns zum Schluss alles verzerren

$$\sqrt{n}(\phi-\theta)\sim \frac{N(0,I(\theta)}{I(\theta)}=N(0,\frac{1}{I(\theta)})$$

Dies bewies den Satz.