Ist der unvoreingenommene Maximum-Likelihood-Schätzer immer der beste unvoreingenommene Schätzer?

22

Ich weiß, dass es sich bei regelmäßigen Problemen um den Maximum Likelihood Estimator (MLE) handeln muss, wenn wir einen besten regelmäßigen unverzerrten Schätzer haben. Aber im Allgemeinen, wenn wir eine unvoreingenommene MLE haben, wäre es auch der beste unvoreingenommene Schätzer (oder sollte ich es UMVUE nennen, solange es die kleinste Varianz hat)?

mathematical-statistics maximum-likelihood unbiased-estimator Gary Cheng
quelle

3

Interessante Frage. MLE ist eine Funktion der ausreichenden Statistik, und UMVUEs können erhalten werden, indem vollständige und ausreichende Statistiken vorausgesetzt werden. Wenn MLE also unvoreingenommen ist (und eine Funktion der ausreichenden Statistik ist), besteht die einzige Möglichkeit, dass es keine minimale Varianz aufweist, darin, dass die ausreichende Statistik nicht vollständig ist. Ich habe versucht, ein Beispiel zu finden, war aber erfolglos.

Greenparker

2

Und hier einige kurze Informationen zu ausreichenden und vollständigen Statistiken.

Richard Hardy

10

Das eigentliche Problem ist vielmehr, dass die MLE selten vorurteilsfrei ist: Wenn ; der vorurteilsfreie Schätzer von und die MLE von ; ist, ist die MLE von , ist aber für die meisten voreingenommen bijektive Transformationen .

θ

$\theta$

θ

$\theta$

θ

$\theta$

f (\hat{θ})

$f(\hat\theta)$

f (θ)

$f(\theta)$

f

$f$

Xi'an

1

Ist das relevant? "Eine fast unvoreingenommene Schätzung der Bevölkerungszahl" Vyas Dubey Pt.Ravishankar Shukla Universität, Raipur, Indien

2

+1 für Xi'ans Kommentar. Bester Schätzer bedeutet minimale Varianz, unvoreingenommen bedeutet etwas anderes. Ich bin mir nicht sicher, ob Sie versuchen können, das zu beweisen, da das eine wenig mit dem anderen zu tun hat. Aber bevor ich überhaupt mit meiner eigenen Herleitung beginnen würde, würde ich gerne ernsthafte Anstrengungen beim (Versuch eines) Beweises sehen. Ich würde sagen, dass auch der Beweis der ersten Aussage (MLE ist für bestimmte Fälle optimal) nicht trivial ist.

Cherub

13

Meiner Meinung nach ist die Frage nicht wirklich kohärente, dass die Maximierung der Wahrscheinlichkeit und Unbefangenheit nicht auskommen, wenn auch nur , weil Maximum - Likelihood - Schätzer sind äquivariante , das heißt der Schätz Transformation ist der Schätzer der Transformation des Parameters, während Unparteilichkeit steht nicht unter nichtlinearen Transformationen. Daher sind Maximum-Likelihood-Schätzer fast nie unvoreingenommen, wenn "fast" über den Bereich aller möglichen Parametrisierungen betrachtet wird.

Es besteht jedoch eine direkte Antwort auf die Frage: Wenn die Schätzung der Normalvarianz Berücksichtigung , die UMVUE von ist , während die MLE von ist Sie unterscheiden sich also. Dies impliziert das $\sigma^2$ $\sigma^2$

{\hat{σ}}_{n}^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

{\overset{ˇ}{σ}}_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

Wenn wir einen bestmöglichen regelmäßigen unverzerrten Schätzer haben, muss dies der Maximum Likelihood Estimator (MLE) sein.

gilt nicht im Allgemeinen.

Es ist ferner zu beachten, dass es, selbst wenn unverzerrte Schätzer eines Parameters ; existieren, nicht notwendigerweise einen besten unverzerrten Minimalvarianzschätzer (UNMVUE) gibt. $\theta$

Xi'an
quelle

Können wir also sagen, dass eine unvoreingenommene MLE eine (U) MVUE ist, aber nicht jede (U) MVUE die MLE?

Sextus Empiricus

2

Nein, wir haben keinen Grund zu der Annahme, dass dies im Allgemeinen zutrifft.

Xi'an

13

Aber wenn wir ein unvoreingenommenes MLE haben, wäre es im Allgemeinen auch der beste unvoreingenommene Schätzer?

Wenn es eine ausreichende Statistik gibt, ja .

Beweis:

Lehmann-Scheffé-Theorem : Jeder unvoreingenommene Schätzer, der eine Funktion einer vollständig ausreichenden Statistik ist, ist der beste (UMVUE).
MLE ist eine Funktion jeder ausreichenden Statistik. Siehe 4.2.3 hier ;

Somit ist eine unvoreingenommene MLE unbedingt die beste, solange eine vollständig ausreichende Statistik vorliegt.

Tatsächlich hat dieses Ergebnis jedoch fast keinen Anwendungsfall, da eine vollständig ausreichende Statistik so gut wie nie existiert. Dies liegt daran, dass (im Wesentlichen) nur für Exponentialfamilien, in denen die MLE am häufigsten voreingenommen ist (mit Ausnahme der Standortparameter von Gauß), vollständig ausreichende Statistiken vorliegen.

Die eigentliche Antwort lautet also nein .

Ein allgemeines Zählerbeispiel kann gegeben werden: Jede Ortsfamilie mit der Wahrscheinlichkeit ) mit symmetrisch um 0 ( ). Bei Stichprobengröße gilt Folgendes: $p_\theta(x)=p(x-\theta$ $p$ $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

Die MLE ist unvoreingenommen
es wird von einem anderen unvoreingenommenen Schätzer dominiert, der als Pitman-Äquivariantenschätzer bekannt ist

Meistens ist die Vorherrschaft streng, daher ist die MLE nicht einmal zulässig. Es wurde bewiesen, wenn Cauchy ist, aber ich denke, es ist eine allgemeine Tatsache. Daher kann MLE nicht UMVU sein. Tatsächlich ist für diese Familien bekannt, dass es unter milden Bedingungen niemals ein UMVUE gibt. Das Beispiel wurde in dieser Frage mit Referenzen und einigen Beweisen untersucht. $p$

Benoit Sanchez
quelle

Warum hat dies nicht die höchsten Upvotes? Ich fand diese Antwort besser als Xians.

Red Floyd

0

Die asymptotische Varianz von MLE ist UMVUE, dh sie erreicht eine untere Grenze von cramer rao, aber die endliche Varianz ist möglicherweise nicht UMVUE, um sicherzustellen, dass der Schätzer UMVUE ist. Es sollte eine ausreichende und vollständige Statistik oder eine Funktion dieser Statistik sein.

serhat simsek
quelle

0

Kurz gesagt, ein Schätzer ist UMVUE, wenn er unvoreingenommen ist und die Funktion einer vollständigen und ausreichenden Statistik hat. (Siehe Rao-Blackwell und Scheffe)

Creutzml
quelle

Das heißt, dies ist auf exponentielle Familien beschränkt.

Xi'an,

Ist der unvoreingenommene Maximum-Likelihood-Schätzer immer der beste unvoreingenommene Schätzer?

Antworten: