Dies ist eine übliche Behauptung über die exponentielle Familie, aber meiner Meinung nach wird sie meistens so formuliert, dass der weniger erfahrene Leser verwirrt wird. Da es zum Nennwert genommen werden könnte, könnte es so interpretiert werden, dass "wenn unsere Zufallsvariable einer Verteilung in der Exponentialfamilie folgt, wenn wir eine Stichprobe nehmen und sie in die ausreichende Statistik einfügen, erhalten wir den wahren erwarteten Wert der Statistik ". Wenn es nur so wäre ... Darüber hinaus wird die Größe der Stichprobe nicht berücksichtigt, was zu weiterer Verwirrung führen kann.
Die Exponentialdichtefunktion ist
fX(x)=h(x)eη(θ)T(x)e−A(θ)(1)
wobei die ausreichende Statistik ist.T(x)
Da dies eine Dichte ist, muss sie sich zur Einheit integrieren, also ( ist die Unterstützung von )SxX
∫Sxh(x)eη(θ)T(x)e−A(θ)dx=1(2)
Gl. gilt für alle damit wir beide Seiten in Bezug darauf unterscheiden können:(2)θ
∂∂θ∫Sxh(x)eη(θ)T(x)e−A(θ)dx=∂(1)∂θ=0(3)
Wenn wir die Reihenfolge der Differenzierung und Integration vertauschen, erhalten wir
∫Sx∂∂θ(h(x)eη(θ)T(x)e−A(θ))dx=0(4)
Die Differenzierung durchführen, die wir haben
∂∂θ(h(x)eη(θ)T(x)e−A(θ))=fX(x)[T(x)η′(θ)−A′(θ)](5)
Durch Einfügen von in wir(5)(4)
∫SxfX(x)[T(x)η′(θ)−A′(θ)]dx=0
⇒η′(θ)E[T(X)]−A′(θ)=0⇒E[T(X)]=A′(θ)η′(θ)(6)
Nun fragen wir: Die linke Seite von ist eine reelle Zahl. Die rechte Seite muss also auch eine reelle Zahl sein und keine Funktion . Daher muss es bei einem bestimmten ausgewertet werden , und es sollte das "wahre" , sonst hätten wir auf der linken Seite nicht den wahren erwarteten Wert von . Um dies zu betonen, bezeichnen wir den wahren Wert mit und schreiben als(6)θθT(X)θ0(6)
Eθ0[T(X)]=A′(θ)η′(θ)∣∣θ=θ0(6a)
Wir wenden uns nun der Maximum-Likelihood-Schätzung zu . Die Log-Wahrscheinlichkeit für eine Stichprobe der Größe beträgtn
L(θ∣x)=∑i=1nlnh(xi)+η(θ)∑i=1nT(xi)−nA(θ)
Wenn wir seine Ableitung in Bezug auf gleich , erhalten wir die MLEθ0
θ^(x):1n∑i=1nT(xi)=A′(θ)η′(θ)∣∣θ=θ^(x)(7)
Vergleiche mit . Die rechten Seiten sind nicht gleich, da wir nicht argumentieren können, dass der MLE-Schätzer den wahren Wert erreicht hat. Also auch nicht die linken Seiten. Aber denken Sie daran, dass Gl. gilt für alle und so auch für . Die Schritte in Gl. kann in Bezug auf und so können wir Gl. für :(7)(6a)2 θθ^3,4,5,6θ^6aθ^
Eθ^(x)[T(X)]=A′(θ)η′(θ)∣∣θ=θ^(x)(6b)
was uns in Kombination mit zu der gültigen Beziehung führt(7)
Eθ^(x)[T(X)]=1n∑i=1nT(xi)
Das ist es, was die untersuchte Behauptung wirklich sagt: der erwartete Wert der ausreichenden Statistik unter dem MLE für die unbekannten Parameter (mit anderen Worten, der Wert des ersten rohen Moments der Verteilung, den wir erhalten, wenn wir anstelle von ) entspricht (und wird nicht nur durch) dem Durchschnitt der aus der Stichprobe berechneten ausreichenden Statistik angenähert . θ^(x)θx
Darüber hinaus können wir nur dann genau sagen, wenn die Stichprobengröße ist: "Der erwartete Wert der ausreichenden Statistik unter dem MLE entspricht der ausreichenden Statistik".n=1