Maximum Likelihood Estimators (MLE) sind asymptotisch effizient; Wir sehen das praktische Ergebnis darin, dass sie selbst bei kleinen Stichprobengrößen oftmals besser abschätzen als die Momentenmethode (MoM) (wenn sie sich unterscheiden)
Hier bedeutet "besser als" in dem Sinne, dass typischerweise eine geringere Varianz vorliegt, wenn beide unverzerrt sind, und typischerweise ein kleinerer mittlerer quadratischer Fehler (MSE) im Allgemeinen.
Die Frage tritt jedoch auf:
Gibt es Fälle, in denen das Ministerium die MLE - etwa bei MSE - in kleinen Stichproben schlagen kann?
(wo dies keine seltsame / entartete Situation ist - dh vorausgesetzt, dass ML existiert / asymptotisch effizient ist)
Eine weitere Frage wäre dann: Wie groß kann klein sein? - das heißt, wenn es Beispiele gibt, gibt es einige, die noch relativ große Stichprobengrößen enthalten, vielleicht sogar alle endlichen Stichprobengrößen?
[Ich kann ein Beispiel für einen voreingenommenen Schätzer finden, der ML in endlichen Samples schlagen kann, aber es ist kein MoM.]
Anmerkung nachträglich hinzugefügt: Mein Fokus liegt hier in erster Linie auf dem univariaten Fall (woher kommt eigentlich meine zugrunde liegende Neugier). Ich möchte multivariate Fälle nicht ausschließen, aber ich möchte mich auch nicht besonders in ausführliche Diskussionen über James-Stein-Schätzungen verirren.
Antworten:
Dies kann als ... Betrug angesehen werden, aber der OLS-Schätzer ist ein MoM-Schätzer. Betrachten Sie eine standardmäßige lineare Regressionsspezifikation (bei stochastischen Regressoren sind die Größen von der Regressormatrix abhängig) und eine Stichprobe der Größe . Bezeichne den OLS-Schätzer der Varianz des Fehlerterms. Es ist unbefangen son s 2 σ 2K n s2 σ2
Betrachte nun das MLE von . Es istσ2
⇒MSE( σ 2 M L )=2(n-K)+K2
Wir wollen die Bedingungen (falls vorhanden), unter denen
Vor diesem Hintergrund sind die Wurzeln für -quadratischK
Gesamt: für Stichprobengröße und die Anzahl der Regressoren , so dass wir haben Für Beispiel: Wenn ist, muss die Anzahl der Regressoren damit die Ungleichung erhalten bleibt. Es ist interessant, dass für eine kleine Anzahl von Regressoren die MLE im MSE-Sinne besser ist.n>12 K ⌈K1⌉<K<⌊K2⌋
ADDENDUMK
Die Gleichung für die Wurzeln des Quadrats kann geschrieben werden
quelle
"In diesem Artikel betrachten wir eine neue Parametrisierung der Zwei-Parameter-Inverse-Gauß-Verteilung. Wir finden die Schätzer für Parameter der Inverse-Gauß-Verteilung nach der Methode der Momente und der Methode der maximalen Wahrscheinlichkeit. Dann vergleichen wir die Effizienz der Schätzer für die beiden Methoden basierend auf ihrem Bias und dem mittleren quadratischen Fehler (MSE). Hierzu werden Parameterwerte festgelegt, Simulationen ausgeführt und MSE und Bias für Schätzungen angegeben, die mit beiden Methoden erhalten wurden. die Momentenmethode effizienter als die Maximum - Likelihood - Methode zur Schätzung beiden Parameter (Lambda und theta) ....“tendenziell zu mehr lesen
Heutzutage kann (oder sollte) man nicht allen Veröffentlichungen vertrauen, aber die letzte Seite der Zeitung erscheint vielversprechend. Ich hoffe dies adressiert Ihre nachträglich hinzugefügte Notiz.
quelle
Nach Simulationen von Hosking und Wallis (1987) in "Parameter- und Quantilschätzung für die verallgemeinerte Paretoverteilung" sind die Parameter der zwei Parameter umfassenden verallgemeinerten Paretoverteilung im cdf angegeben
oder die Dichte
sind zuverlässiger, wenn sie mittels MOM im Gegensatz zu ML geschätzt werden. Dies gilt für Proben bis zu einer Größe von 500. Die MOM-Schätzungen werden von gegeben
und
mit
Das Papier enthält einige Tippfehler (zumindest meine Version). Die Ergebnisse für die oben angegebenen MOM-Schätzer wurden freundlicherweise von "heropup" in diesem Thread zur Verfügung gestellt .
quelle
Ich habe einen gefunden:
Für die asymmetrische exponentielle Leistungsverteilung
Die Simulationsergebnisse von Delicado und Goria (2008) legen nahe, dass für einige der Parameter bei kleineren Stichprobengrößen die Methode der Momente die MLE übertreffen kann. Beispielsweise ist im bekannten thgr; -Fall bei Stichprobengröße 10, wenn sgr ; geschätzt wird , die MSE von MoM kleiner als für ML.θ σ
Delicado und Goria (2008),
Ein kleiner Vergleich von Maximum-Likelihood-, Momenten- und L-Momenten-Methoden für die asymmetrische exponentielle Leistungsverteilung,
Journal Computational Statistics & Data Analysis,
Band 52, Ausgabe 3, Januar, S. 1661-1673
(Siehe auch http://www-eio.upc.es/~delicado/my-public-files/LmomAEP.pdf )
quelle
Die Methode der Momente (MM) kann den Maximum Likelihood (ML) -Ansatz übertreffen, wenn es möglich ist, nur einige Populationsmomente anzugeben. Wenn die Verteilung schlecht definiert ist, sind die ML-Schätzer nicht konsistent.
Ausgehend von endlichen Momenten und Beobachtungen kann das MM gute Schätzer mit guten asymptotischen Eigenschaften liefern.
Beispiel: Sei eine iid-Stichprobe von , wobei eine unbekannte Wahrscheinlichkeitsdichtefunktion ist. Definieren Sie den ten Moment und berücksichtigen Sie, dass das Interesse darin besteht, den Moment zu schätzen .X1,…,Xn X∼f f:R→R+ νk=∫Rxkf(x)dx k ν4
Let , dann unter der Annahme , dass , dem zentralen Grenzwertsatz garantiert , dass wobei " " bedeutet "konvergiert in Verteilung zu" . Darüber hinaus nach dem Satz von Slutsky,Xk¯=1n∑ni=1Xki ν8<∞
Das heißt, wir können (ungefähre) Schlussfolgerungen für indem wir den Momentenansatz (für große Stichproben) verwenden. Wir müssen lediglich einige Annahmen zu den interessierenden Populationsmomenten treffen. Hier können die Maximum-Likelihood-Schätzer nicht definiert werden, ohne die Form von . fν4 f
Eine Simulationsstudie:
Patriota et al. (2009) führten einige Simulationsstudien durch, um die Ablehnungsraten von Hypothesentests in einem Modell für Fehler in Variablen zu verifizieren. Die Ergebnisse legen nahe, dass der MM-Ansatz Fehlerraten unter der Nullhypothese erzeugt, die näher am nominalen Niveau liegen als die ML-Rate für kleine Stichproben.
Historischer Hinweis:
Die Methode der Momente wurde von K. Pearson 1894 "Beiträge zur mathematischen Evolutionstheorie" vorgeschlagen. Die Methode der maximalen Wahrscheinlichkeit wurde 1922 von RA Fisher "Auf den mathematischen Grundlagen der theoretischen Statistik" vorgeschlagen. Beide Artikel wurden in der Reihe A der Philosophical Transactions der Royal Society of London veröffentlicht.
Referenz:
Fisher, RA (1922). Über die mathematischen Grundlagen der theoretischen Statistik, Philosophische Transaktionen der Royal Society of London, Reihe A, 222, 309-368.
Patriota, AG, Bolfarine, H. de Castro, M. (2009). Ein heteroskedastisches Modell für Strukturfehler in Variablen mit Gleichungsfehlern, Statistical Methodology 6 (4), 408-423 ( pdf )
Pearson, K. (1894). Beiträge zur mathematischen Evolutionstheorie, Philosophische Transaktionen der Royal Society of London, Serie A, 185, 71-110.
quelle
Zusätzliche Quellen für MOM:
Hong, HP und W. Ye. 2014. Analyse extremer Bodenschneelasten für Kanada anhand von Schneehöhenaufzeichnungen . Naturgefahren 73 (2): 355-371.
Martins, ES und JR Stedinger. 2000. Verallgemeinerte Maximum-Likelihood verallgemeinerte Extremwert-Quantil-Schätzer für hydrologische Daten . Water Resources Research 36 (3): 737-744.
Abstrakt:
In den Abschnitten Einführung und Literaturübersicht werden zusätzliche Artikel zitiert, die zu dem Schluss kamen, dass MOM in einigen Fällen die MLE übertreffen (erneut Extremwertmodellierung), z
K (Kappa) ist der Formparameter von GEV.
Papiere, die in den Zitaten erscheinen:
Hosking J, Wallis J, Wood E (1985) Abschätzung der generalisierten Extremwertverteilung nach der Methode der wahrscheinlichkeitsgewichteten Momente . Technometrics 27: 251–261.
Madsen, H., PF Rasmussen und D. Rosbjerg (1997) Vergleich der jährlichen Maximumserien- und Partial-Duration-Serienmethoden zur Modellierung extremer hydrologischer Ereignisse , 1, Vor-Ort-Modellierung, Water Resour. Res., 33 (4), 747 & ndash; 758.
Hosking, JRM, L-Momente: Analyse und Schätzung von Verteilungen mit linearen Kombinationen von Ordnungsstatistiken , JR Stat. Soc., Ser. B, 52, 105 & ndash; 124, 1990.
Darüber hinaus habe ich die gleichen Erfahrungen wie in den obigen Abhandlungen gemacht. Im Fall der Modellierung von Extremereignissen mit kleiner und mittlerer Stichprobengröße (<50-100, was typisch ist) kann MLE unrealistische Ergebnisse liefern. Die Simulation zeigt, dass MOM robuster ist und robuster ist kleinerer RMSE.
quelle
Bei der Beantwortung dieser Frage: Schätzen der Parameter für ein Binomial Ich bin über dieses Papier gestolpert:
Ingram Olkin, A John Petkau, James V Zidek: Ein Vergleich von N Schätzern für die Binomialverteilung. Jasa 1981.
Dies ist ein Beispiel, bei dem die Methode der Momente zumindest in einigen Fällen die maximale Wahrscheinlichkeit übertrifft. Das Problem ist die Schätzung von in der Binomialverteilung wobei beide Parameter unbekannt sind. Es erscheint beispielsweise beim Versuch, die Tierhäufigkeit zu schätzen, wenn Sie nicht alle Tiere sehen können, und die Sichtungswahrscheinlichkeit ebenfalls unbekannt.Bin ( N , p ) pN Bin(N,p) p
quelle