Warum wird die Maximum-Likelihood-Schätzung als häufigste Technik angesehen?

Frequentistische Statistiken sind für mich gleichbedeutend mit dem Versuch, Entscheidungen zu treffen, die für alle möglichen Stichproben gut sind. Dh eine frequentistische Entscheidungsregel sollte immer versuchen, das frequentistische Risiko zu minimieren, das von einer Verlustfunktion und dem wahren Naturzustand \ theta_0 abhängt :$\delta$$L$$\theta_0$

Wie hängt die maximale Wahrscheinlichkeitsschätzung mit dem häufigen Risiko zusammen? Angesichts der Tatsache, dass dies die am häufigsten von Frequentisten verwendete Punktschätzungstechnik ist, muss ein Zusammenhang bestehen. Soweit ich weiß, ist die Schätzung der maximalen Wahrscheinlichkeit älter als das Konzept des frequentistischen Risikos, aber es muss dennoch ein Zusammenhang bestehen, warum sonst würden so viele Leute behaupten, dass es sich um eine frequentistische Technik handelt?

Die engste Verbindung, die ich gefunden habe, ist die

"Für parametrische Modelle, die schwache Regularitätsbedingungen erfüllen, beträgt der Maximum Likelihood Estimator ungefähr minimax", Wassermann 2006, p. 201 "

Die akzeptierte Antwort verknüpft entweder eine stärkere Schätzung des Maximum-Likelihood-Punkts mit dem häufigen Risiko oder liefert eine alternative formale Definition der häufig auftretenden Inferenz, die zeigt, dass MLE eine häufig auftretende Inferenzmethode ist.

Sie wenden eine relativ enge Definition von Frequentismus und MLE an - wenn wir etwas großzügiger und definierender sind

• Frequentismus: Ziel der Konsistenz, (asymptotischen) Optimalität, Unparteilichkeit und kontrollierten Fehlerraten bei wiederholter Probenahme, unabhängig von den wahren Parametern

• MLE = Punktschätzung + Konfidenzintervalle (CIs)

dann scheint es ziemlich klar zu sein, dass MLE alle frequentistischen Ideale erfüllt. Insbesondere steuern CIs in MLE als p-Werte die Fehlerrate bei wiederholter Abtastung und geben nicht den 95% -Wahrscheinlichkeitsbereich für den wahren Parameterwert an, wie viele Leute denken - daher sind sie durch und durch frequentistisch.

Nicht alle diese Ideen waren bereits in Fisher's 1922 veröffentlichtem Papier "Über die mathematischen Grundlagen der theoretischen Statistik" enthalten , aber die Idee der Optimalität und Unparteilichkeit ist vorhanden, und Neyman fügte die Idee hinzu, CIs mit festen Fehlerraten zu konstruieren. Efron, 2013, "Ein 250-jähriges Argument: Glaube, Verhalten und das Problem" , fasst in seiner gut lesbaren Geschichte der Bayesian / Frequentist-Debatte zusammen:

In den frühen 1900er Jahren kam der Vielseitigkeitszug richtig in Fahrt. Ronald Fisher entwickelte die Maximum-Likelihood-Theorie für die optimale Schätzung und zeigte das bestmögliche Verhalten für eine Schätzung. Jerzy Neyman tat dasselbe für Konfidenzintervalle und Tests. Die Verfahren von Fisher und Neyman passten fast perfekt zu den wissenschaftlichen Erfordernissen und den rechnerischen Grenzen der Wissenschaft des 20. Jahrhunderts und verwandelten den Bayesianismus in ein Schattendasein.

In Bezug auf Ihre engere Definition stimme ich Ihrer Annahme, dass die Minimierung des Frequentistenrisikos (FR) das Hauptkriterium für die Entscheidung ist, ob eine Methode der Frequentistenphilosophie folgt, nicht ganz zu. Ich würde sagen, dass die Minimierung der FR eine wünschenswerte Eigenschaft ist, die aus der Philosophie des Frequentismus folgt , anstatt dieser vorauszugehen. Daher muss eine Entscheidungsregel / ein Schätzer FR nicht minimieren, um häufig zu sein, und das Minimieren von FR bedeutet auch nicht notwendigerweise, dass eine Methode häufig ist, aber ein Frequentist würde im Zweifel die Minimierung von FR vorziehen.

Wenn wir uns MLE genauer ansehen: Fisher hat gezeigt, dass MLE asymptotisch optimal ist (was im Großen und Ganzen der Minimierung von FR entspricht), und das war sicherlich ein Grund für die Förderung von MLE. Er war sich jedoch bewusst, dass die Optimalität nicht für eine endliche Stichprobengröße galt. Trotzdem war er mit diesem Schätzer aufgrund anderer wünschenswerter Eigenschaften wie Konsistenz, asymptotischer Normalität, Invarianz unter Parametertransformationen zufrieden und vergessen wir nicht: Leicht zu berechnen. Insbesondere die Invarianz wird in der Arbeit von 1922 häufig betont. Aus meiner Sicht waren die Beibehaltung der Invarianz bei der Parametertransformation und die Fähigkeit, die Priors im Allgemeinen loszuwerden, eine seiner Hauptmotive bei der Wahl von MLE. Wenn Sie seine Argumentation besser verstehen wollen, empfehle ich das Papier von 1922.

Grundsätzlich aus zwei Gründen:

• Die maximale Wahrscheinlichkeit ist eine punktuelle Schätzung der Modellparameter. Wir Bayesianer mögen posteriore Verteilungen.
• Die maximale Wahrscheinlichkeit setzt keine vorherige Verteilung voraus . Wir Bayesianer brauchen unsere Prioritäten. Sie können informativ oder nicht informativ sein, aber sie müssen existieren