Neulich wurde mir diese Frage gestellt und ich hatte sie noch nie in Betracht gezogen.
Meine Intuition kommt von den Vorteilen jedes Schätzers. Die größte Wahrscheinlichkeit besteht darin, dass wir uns auf den Prozess der Datengenerierung verlassen können, da im Gegensatz zur Methode der Momente das Wissen über die gesamte Verteilung genutzt wird. Da MoM-Schätzer nur Informationen verwenden, die in den Momenten enthalten sind, sollten die beiden Methoden anscheinend dieselben Schätzwerte liefern, wenn die ausreichenden Statistiken für den Parameter, den wir schätzen möchten, genau die Momente der Daten sind.
Ich habe dieses Ergebnis mit ein paar Distributionen überprüft. Normal (unbekannter Mittelwert und Varianz), Exponential und Poisson haben alle ausreichende Statistiken, die ihren Momenten entsprechen, und MLEs und MoM-Schätzer sind gleich (nicht genau zutreffend für Dinge wie Poisson, bei denen es mehrere MoM-Schätzer gibt). Wenn wir bei einer Uniform aussehen , die erschöpfende Statistik für heißt und die MoM und MLE Schätzer sind unterschiedlich.
Ich dachte, dies sei eine Eigenart der Exponentialfamilie, aber für ein Laplace mit bekanntem Mittelwert ist die ausreichende Statistikund der MLE- und der MoM-Schätzer für die Varianz sind nicht gleich.
Bisher konnte ich überhaupt keine Ergebnisse vorweisen. Kennt jemand allgemeine Bedingungen? Oder sogar ein Gegenbeispiel würde mir helfen, meine Intuition zu verfeinern.
Antworten:
Eine allgemeine Antwort ist, dass ein Schätzer, der auf einer Methode von Momenten basiert, durch eine bijektive Änderung der Parametrisierung nicht invariant ist, während ein Schätzer der maximalen Wahrscheinlichkeit invariant ist. Daher fallen sie fast nie zusammen. (Fast nie über alle möglichen Transformationen hinweg.)
Darüber hinaus gibt es, wie in der Frage ausgeführt, viele MoM-Schätzer. Eine Unendlichkeit von ihnen. Sie basieren jedoch alle auf der empirischen Verteilung , die als nicht parametrisches MLE von , obwohl sich dies nicht auf die Frage bezieht.F^ F
Ein geeigneterer Weg, um die Frage einzugrenzen, wäre zu fragen, wann ein Momentschätzer ausreicht. Dies erzwingt jedoch, dass die Verteilung der Daten aus einer exponentiellen Familie stammt, und zwar durch das Pitman-Koopman-Lemma, ein Fall, in dem die Antwort bereits vorliegt bekannt.
quelle