Idee und Intuition hinter Quasi Maximum Likelihood Estimation (QMLE)

Frage (n): Welche Idee und Intuition steckt hinter der Quasi-Maximum-Likelihood-Schätzung (QMLE; auch als Pseudo-Maximum-Likelihood-Schätzung (PMLE) bezeichnet)? Was bewirkt, dass der Schätzer funktioniert, wenn die tatsächliche Fehlerverteilung nicht mit der angenommenen Fehlerverteilung übereinstimmt?

Die Wikipedia-Seite für QMLE ist in Ordnung (kurz, intuitiv, auf den Punkt gebracht), aber ich könnte etwas mehr Intuition und Details gebrauchen, vielleicht auch eine Illustration. Andere Referenzen sind herzlich willkommen. (Ich erinnere mich, dass ich in etlichen ökonometrischen Lehrbüchern nach Material über QMLE gesucht habe, und zu meiner Überraschung wurde QMLE nur in ein oder zwei davon behandelt, z. B. Wooldridge "Ökonometrische Analyse von Querschnitts- und Paneldaten" (2010), Kapitel 13 § 11, S. 502-517.)

"Was bewirkt, dass der Schätzer funktioniert, wenn die tatsächliche Fehlerverteilung nicht mit der angenommenen Fehlerverteilung übereinstimmt?"

Im Prinzip "funktioniert" das QMPLE nicht , im Sinne eines "guten" Schätzers. Die um das QMLE entwickelte Theorie ist nützlich, weil sie zu Fehlspezifikationstests geführt hat.

Was das QMLE sicher tut, ist die konsistente Schätzung des Parametervektors, der die Kullback-Leiber-Divergenz zwischen der wahren und der angegebenen Verteilung minimiert. Das hört sich gut an, aber das Minimieren dieses Abstands bedeutet nicht, dass der minimierte Abstand nicht enorm sein wird.

Dennoch lesen wir, dass es viele Situationen gibt, in denen der QMLE ein konsistenter Schätzer für den wahren Parametervektor ist. Dies muss von Fall zu Fall geprüft werden, aber lassen Sie mich eine sehr allgemeine Situation anführen, die zeigt, dass das QMLE nichts enthält, was es für den wahren Vektor konsistent macht ...

... Es ist vielmehr die Tatsache, dass sie mit einem anderen Schätzer übereinstimmt, der immer konsistent ist (unter Beibehaltung der ergodisch-stationären Stichprobenannahme): dem altmodischen Schätzer für die Methode der Momente.

Mit anderen Worten, wenn Zweifel an der Verteilung bestehen, ist eine zu berücksichtigende Strategie, "immer eine Verteilung anzugeben, für die der Maximum-Likelihood-Schätzer für die interessierenden Parameter mit dem Schätzer für die Methode der Momente übereinstimmt" : auf diese Weise, unabhängig davon, wie weit von der Marke entfernt Ist Ihre Verteilungsannahme, wird der Schätzer zumindest konsistent sein.

Sie können diese Strategie zu lächerlichen Extremen führen: Nehmen Sie an, dass Sie eine sehr große iid-Stichprobe aus einer Zufallsvariablen haben, bei der alle Werte positiv sind. Gehen Sie weiter und nehmen Sie an, dass die Zufallsvariable normal verteilt ist, und wenden Sie die maximale Wahrscheinlichkeit für den Mittelwert und die Varianz an: Ihr QMLE ist für die wahren Werte konsistent.

Dies wirft natürlich die Frage auf, warum man sich so tut, als würde man MLE anwenden, weil man sich im Wesentlichen auf die Stärken der Methode der Momente stützt und sich dahinter verbirgt (was auch asymptotische Normalität garantiert).

In anderen verfeinerten Fällen kann gezeigt werden, dass QMLE für die interessierenden Parameter konsistent ist, wenn wir sagen können, dass wir die bedingte Mittelwertfunktion, aber nicht die Verteilung korrekt angegeben haben (dies ist beispielsweise der Fall für Pooled Poisson QMLE - siehe Wooldridge). .

Interessanterweise wurde diese Formulierung jedoch von einer Methode zur Schätzung von Momenten beeinflusst, bei der man einfach "das, was geschätzt werden soll" in der RHS des Ausdrucks in Klammern festlegen und darauf vertrauen konnte, dass der Ausdruck zu "diesem Interessanten konvergiert" Sache". Es war eine Protoform der Schätzung von Gleichungen.

Das Schätzen von Gleichungen war kein neues Konzept. Tatsächlich war der Versuch, bereits in den 1870er und frühen 1900er Jahren korrekt abgeleitete EEs zu präsentieren, ein Grenzwert für Theoreme von EEs, die Taylor-Erweiterungen verwendeten, aber die fehlende Verbindung zu einem Wahrscheinlichkeitsmodell war ein Grund für Streit unter kritischen Gutachtern.

$S$

Im Gegensatz zu der obigen Antwort wurde die Quasilikelihood jedoch ausgiebig genutzt. Eine sehr schöne Diskussion in McCullogh und Nelder befasst sich mit der Populationsmodellierung von Pfeilschwanzkrebsen. Im Gegensatz zu Menschen sind ihre Paarungsgewohnheiten einfach bizarr: Viele Männchen können sich in ungemessenen "Clustern" zu einer einzigen Frau zusammenfinden. Aus ökologischer Sicht liegt die tatsächliche Beobachtung dieser Cluster weit außerhalb des Rahmens ihrer Arbeit, dennoch war es eine bedeutende Herausforderung, Vorhersagen über die Populationsgröße aufgrund von Catch-and-Release-Vorgängen zu treffen. Es zeigt sich, dass dieses Paarungsmuster zu einem Poisson-Modell mit signifikanter Unterdispersion führt, dh die Varianz ist proportional, aber nicht gleich dem Mittelwert.

Dispersionen werden als Störparameter in dem Sinne betrachtet, dass wir im Allgemeinen keine Rückschlüsse auf ihren Wert ziehen und eine gemeinsame Schätzung mit einer einzigen Wahrscheinlichkeit zu sehr unregelmäßigen Wahrscheinlichkeiten führt. Quasilikelihood ist ein sehr nützliches Gebiet der Statistik, insbesondere im Lichte der späteren Arbeit an verallgemeinerten Schätzungsgleichungen .

Ich hatte eine ähnliche Frage wie die Originalfrage von Richard Hardy. Meine Verwirrung war, dass die aus Quasi-ML geschätzten Parameter in der unbekannten "wahren" Verteilung möglicherweise nicht existieren. Was bedeutet in diesem Fall genau "Konsistenz"? Womit laufen die geschätzten Parameter zusammen?

Nach Überprüfung einiger Referenzen ( White (1982) sollte einer der Originalartikel sein, ist aber gated. Eine hilfreiche Darstellung, die ich gefunden habe, ist http://homepage.ntu.edu.tw/~ckuan/pdf/et01/ch9.pdf ), Meine Gedanken im Klartext lauten wie folgt: Nachdem wir zugegeben haben, dass die von uns angenommene Verteilung nur eine Annäherung an die unbekannte wahre ist, können wir praktisch den Parameterwert finden, um deren Abstand zu minimieren ( Kullback-Leibler-Abstand)um genau zu sein). Das Schöne an der Theorie ist, dass die geschätzten Parameter von Quasi-ML ohne Kenntnis der wahren Verteilung zu diesem abstandsminimierenden Parameter konvergieren (es gibt natürlich auch andere nützliche Ergebnisse aus der Theorie, wie z. B. die asymptotische Verteilung der geschätzten Parameter usw., aber sie stehen hier nicht im Mittelpunkt meiner Frage).

Genau wie Alecos Papadopolous in seiner Antwort erwähnt hat, könnte der minimierte Abstand immer noch groß sein. Die von uns angenommene Verteilung könnte also eine schlechte Annäherung an die wahre sein. Alles, was Quasi-ML tun kann, ist, unsere angenommene Verteilung so nahe wie möglich an der unbekannten wahren zu bringen. Ich hoffe, meine hier gemachten Erfahrungen sind hilfreich für andere, die ähnliche Verwirrungen haben.