Die Score-Funktion von Fisher hat den Mittelwert Null - was bedeutet das überhaupt?

Ich versuche, der prinzipiellen Überprüfung der Wahrscheinlichkeitstheorie zu folgen . Sie definieren Fisher’s score functionals Die erste Ableitung der Log-Likelihood-Funktion und sie sagen, dass die Punktzahl ein Zufallsvektor ist. ZB für die geometrische Verteilung:

$$u(\pi) = n\left(\frac{1}{\pi} - \frac{\bar{y}}{1-\pi} \right)$$

Und ich kann sehen, dass es tatsächlich eine Funktion (des Parameters) ist $\pi$), und es ist zufällig, wie es beinhaltet $\bar{y}$.

ABER dann sagen sie etwas, was ich nicht verstehe: "Die Punktzahl wird mit dem wahren Parameterwert bewertet $\pi$ hat Mittelwert Null "und sie formulieren es als $E(u(\pi)) = 0$. Was bedeutet es, es am "wahren Parameterwert" auszuwerten und dann seinen Mittelwert herauszufinden? Und im geometrischen Beispiel, wenn ich die Identität verwende$E(y) = E(\bar{y}) = \frac{1-\pi}{\pi}$ werde ich das nicht sofort bekommen $E(u(\pi)) = 0$? Was hat der "wahre Parameterwert" damit zu tun?

Wie Sie auf die Score-Funktion hingewiesen haben $u$ wird unter geeigneten Regelmäßigkeitsbedingungen als "die erste Ableitung der Log-Likelihood-Funktion" definiert.

Nehmen wir das an $X$ ist eine Zufallsvariable mit Dichtefunktion $f(x)$. Normalerweise ändert sich diese Dichte in Abhängigkeit von einem Vektor von Parametern$\pi$. Somit ist es zweckmäßig, die Dichtefunktion als zu schreiben$f(x;\pi)$um die Abhängigkeit vom Parameter deutlich zu machen. Wir werden annehmen, dass der "wahre" Wert von$\pi$ für die Zufallsvariable $X$ ist $\pi = \pi_0$. (Was ich meine ist das$X \sim f(\;\cdot\;;\pi_0)$)

Die Score-Funktion kann nun wie folgt geschrieben werden:

$$u(\pi;x) = \frac{\partial}{\partial\pi}\log f(x;\pi),$$ und es ist jetzt klar, dass es eine Funktion von beiden ist $x$ und von $\pi$. (In deiner Frage hast du$L$ anstelle von $f$, aber es gibt keinen Unterschied, da die Wahrscheinlichkeitsfunktion nur die Dichtefunktion ist.)

Betrachten Sie nun die Zufallsvariable $u(\pi,X)$ und seine Erwartung $\xi(\pi) = \mathbb{E_{\pi_0}}(u(\pi,X))$. Hierbei ist zu beachten, dass der Index$\pi_0$ ist da, um den (wahren) Parameter in der Verteilung von anzugeben $X$ und von dem Wert unterscheiden $\pi$ mit denen wir rechnen $u$.

Vorausgesetzt, dass $f$ ist eine kontinuierliche Dichte (der diskrete Fall ist ähnlich), die wir haben:

$$\xi(\pi) = \int_{-\infty}^{+\infty}\left(\frac{\partial}{\partial\pi}\log f(x;\pi)\right)f(x;\pi_0)dx = \int_{-\infty}^{+\infty}\frac{f'(x;\pi)}{f(x;\pi)}f(x;\pi_0)dx$$

und wenn Sie bewerten $\xi$ am wahren Parameterwert $\pi_0$ wir bekommen:

$$\xi(\pi_0) = \int_{-\infty}^{+\infty}\frac{f'(x;\pi_0)}{f(x;\pi_0)}f(x;\pi_0)dx = \int_{-\infty}^{+\infty}f'(x;\pi_0)dx$$ $$=\frac{\partial}{\partial\pi}\int_{-\infty}^{+\infty}f(x;\pi_0)dx = 0$$

Dies ist die Begründung für die Score-Funktion mit der Erwartung Null am wahren Parameter.

Sie sollten sich Bücher wie dieses (Kapitel 3) ansehen , um ein besseres Verständnis der Bedingungen zu erhalten, unter denen diese Ableitungen (wie das Vertauschen von Ableitungen und Integralen) zutreffen.

Ok, dank der hervorragenden @ Mur1lo-Antwort habe ich jetzt ein besseres Verständnis und möchte meinen eigenen Versuch machen, dieses abstrakte Konzept so konkret wie möglich zu machen.

Angenommen, wir haben eine Stichprobe von 5 Münzergebnissen. Wir nehmen an, dass sie aus einer Population mit Bernoulli-Verteilung mit dem wahren Parameter entnommen wurden$\pi_0$.

Wenn wir uns eine bestimmte Münze mit Ergebnis ansehen $x_3=1$können wir die logarithmische Wahrscheinlichkeit berechnen, mit der dieser Patient aus einer Bernoulli-Verteilung mit allen Arten von Parameterwerten, z$\pi = 0.2$ oder $\pi=0.9$und so weiter. Die Log-Wahrscheinlichkeit ist also eine Funktion, die die Wahrscheinlichkeit von abschätzt$x_3$ für jeden möglichen Wert von $\pi$.

$$LL(\pi|x_3) = x_3ln(\pi) + (1-x_3)ln(1-\pi)$$

Was einfach bedeutet, dass wenn $x_3=1$ die Wahrscheinlichkeit dafür war $\pi$ und wenn es 0 ist, ist die Wahrscheinlichkeit dafür $1-\pi$.

Wenn wir die Unabhängigkeit zwischen den Münzzügen annehmen, haben wir eine 'Durchschnitts'-Funktion, die die logarithmische Wahrscheinlichkeit der gesamten Stichprobe von n = 5 Münzzügen darstellt.

$$LL(\pi|X) = \sum{x_i}ln(\pi) + (n-\sum(x_i))ln(1-\pi)$$

Wir wollen das Maximum von finden $LL(\pi|X)$- die mle =$\pi_{mle}$.

Die Score-Funktion $u(\pi)$ist ein Vektor der Ableitungen für jeden Parameter der Log-Wahrscheinlichkeit. Zum Glück ist es in unserem Fall ein einfacher Skalar, da es nur einen Parameter gibt. Unter bestimmten Umständen hilft es uns bei der Suche$\pi_{mle}$, da in diesem Punkt die Score-Funktion wäre $u(\pi_{mle}) = 0$. Wir können die Beobachtungswertfunktion für eine einzelne Beobachtung berechnen (Münzziehung):

$$u(\pi|x_3) = \frac{x_3}{\pi} - \frac{1-x_3}{1-\pi}$$

und die Stichproben-Score-Funktion von n = 5 Patienten:

$$u(\pi|X) = \frac{\sum{x_i}}{\pi} - \frac{n-\sum{x_i}}{1-\pi}$$

Wenn wir diese letzte Funktion auf 0 setzen, erhalten wir $\pi_{mle}$.

---

ABER das spezifische 5-Draws-Sample hat nichts mit der Erwartung der Score-Funktion zu tun! Die Erwartung ist der Wert der Beobachtungswertfunktion für jeden möglichen Wert von x, multipliziert mit der Wahrscheinlichkeit dieses Wertes, der die Dichtefunktion ist! In unserem Fall kann x nur 2 Werte annehmen: 0 und 1. Und die Dichtefunktion ist, wie wir angenommen haben, ein Bernoulli mit Parameter$\pi_0$::

$$E(u(\pi|x_i)) = \sum_x (\frac{x}{\pi} - \frac{1-x}{1-\pi}) \pi_0^x(1-\pi_0)^{1-x} = \frac{\pi_0}{\pi} - \frac{1-\pi_0}{1-\pi}$$

und es ist klar, dass es Null wird, wenn es am wahren Parameter ausgewertet wird $\pi_0$. Die intuitive Interpretation lautet: Für jeden Wert von$\pi$Was ist die mittlere Änderungsrate der Wahrscheinlichkeit?

---

Die Informationsmatrix ist die Varianz der Wahrscheinlichkeit - wie empfindlich wird unsere Lösung für unterschiedliche Daten sein? (siehe diese Antwort ).

$$I(\pi|x_i) = var(u(\pi|x_i)) = var(\frac{x_i}{\pi} - \frac{1-x_i}{1-\pi}) = var(\frac{x_i-\pi}{\pi(1-\pi)}) = \frac{var(x_i)}{\pi^2(1-\pi)^2} = \frac{\pi_0(1-\pi_0)}{\pi^2(1-\pi)^2}$$

und wenn am wahren Parameter ausgewertet $\pi_0$ es vereinfacht sich zu:

$$I(\pi_0|x_i) = \frac{1}{\pi_0(1-\pi_0)}$$

( Weitere Informationen finden Sie in den Washington Edu-Notizen .)

Erstaunlicherweise gibt es eine andere Möglichkeit zu messen, wie empfindlich die Wahrscheinlichkeit in einem bestimmten Fall sein würde $\pi$! das ist die Erwartung der Krümmung = Hessisch = zweite Ableitung. Je steiler unsere Wahrscheinlichkeit ist, desto genauer werden wir sein. Details finden Sie im Blog von Mark Reid