Wann ergeben die maximale Wahrscheinlichkeit und die Methode der Momente die gleichen Schätzer?

17

Neulich wurde mir diese Frage gestellt und ich hatte sie noch nie in Betracht gezogen.

Meine Intuition kommt von den Vorteilen jedes Schätzers. Die größte Wahrscheinlichkeit besteht darin, dass wir uns auf den Prozess der Datengenerierung verlassen können, da im Gegensatz zur Methode der Momente das Wissen über die gesamte Verteilung genutzt wird. Da MoM-Schätzer nur Informationen verwenden, die in den Momenten enthalten sind, sollten die beiden Methoden anscheinend dieselben Schätzwerte liefern, wenn die ausreichenden Statistiken für den Parameter, den wir schätzen möchten, genau die Momente der Daten sind.

Ich habe dieses Ergebnis mit ein paar Distributionen überprüft. Normal (unbekannter Mittelwert und Varianz), Exponential und Poisson haben alle ausreichende Statistiken, die ihren Momenten entsprechen, und MLEs und MoM-Schätzer sind gleich (nicht genau zutreffend für Dinge wie Poisson, bei denen es mehrere MoM-Schätzer gibt). Wenn wir bei einer Uniform aussehen , die erschöpfende Statistik für heißt und die MoM und MLE Schätzer sind unterschiedlich.(0,θ)θmax(X1,,XN)

Ich dachte, dies sei eine Eigenart der Exponentialfamilie, aber für ein Laplace mit bekanntem Mittelwert ist die ausreichende Statistikund der MLE- und der MoM-Schätzer für die Varianz sind nicht gleich.1n|Xich|

Bisher konnte ich überhaupt keine Ergebnisse vorweisen. Kennt jemand allgemeine Bedingungen? Oder sogar ein Gegenbeispiel würde mir helfen, meine Intuition zu verfeinern.

Auf den Kopf
quelle
4
MM und MLE stimmen für den kanonischen Parameter in Exponentialfamilien überein. Aber eine Transformation zu machen würde im Allgemeinen bedeuten, dass Sie diese Äquivalenz verlieren (wie auch von Xi'ans Antwort nahegelegt).
Hejseb

Antworten:

16

Eine allgemeine Antwort ist, dass ein Schätzer, der auf einer Methode von Momenten basiert, durch eine bijektive Änderung der Parametrisierung nicht invariant ist, während ein Schätzer der maximalen Wahrscheinlichkeit invariant ist. Daher fallen sie fast nie zusammen. (Fast nie über alle möglichen Transformationen hinweg.)

Darüber hinaus gibt es, wie in der Frage ausgeführt, viele MoM-Schätzer. Eine Unendlichkeit von ihnen. Sie basieren jedoch alle auf der empirischen Verteilung , die als nicht parametrisches MLE von , obwohl sich dies nicht auf die Frage bezieht.F^F

Ein geeigneterer Weg, um die Frage einzugrenzen, wäre zu fragen, wann ein Momentschätzer ausreicht. Dies erzwingt jedoch, dass die Verteilung der Daten aus einer exponentiellen Familie stammt, und zwar durch das Pitman-Koopman-Lemma, ein Fall, in dem die Antwort bereits vorliegt bekannt.

Hinweis: Wenn in der Laplace-Verteilung der Mittelwert bekannt ist, entspricht das Problem der Beobachtung der Absolutwerte, die dann Exponentialvariablen und Teil einer Exponentialfamilie sind.

Xi'an
quelle
1
Gibt es generell eine Parametrierung, bei der MM und MLE gleich sind?
Upside
1
Für exponentielle Familien führt die mittlere Parametrisierung zu einer Gleichheit. Außerhalb exponentieller Familien bin ich mir nicht so sicher.
Xi'an