OLS ist BLAU. Aber was ist, wenn mir Unparteilichkeit und Linearität egal sind?

Das Gauß-Markov-Theorem besagt, dass der OLS-Schätzer der beste lineare unverzerrte Schätzer für das lineare Regressionsmodell ist.

Angenommen, mir geht es nicht um Linearität und Unparteilichkeit. Gibt es dann einen anderen (möglichen nichtlinearen / voreingenommenen) Schätzer für das lineare Regressionsmodell, der unter den Gauß-Markov-Annahmen oder einer anderen allgemeinen Menge von Annahmen am effizientesten ist?

Es gibt natürlich ein Standardergebnis: OLS selbst ist der beste unvoreingenommene Schätzer, wenn wir zusätzlich zu den Gauß-Markov-Annahmen auch davon ausgehen, dass die Fehler normalverteilt sind. Für eine andere bestimmte Fehlerverteilung könnte ich den entsprechenden Maximum-Likelihood-Schätzer berechnen.

Aber ich habe mich gefragt, ob es einen Schätzer gibt, der unter relativ allgemeinen Umständen besser ist als OLS?

Unvoreingenommene Schätzungen sind typisch für einführende Statistikkurse, da sie: 1) klassisch sind, 2) leicht mathematisch zu analysieren sind. Die Cramer-Rao-Untergrenze ist eines der Hauptwerkzeuge für 2). Abgesehen von unvoreingenommenen Schätzungen ist eine Verbesserung möglich. Der Bias-Varianz-Kompromiss ist ein wichtiges Konzept in der Statistik, um zu verstehen, wie voreingenommene Schätzungen besser sein können als unvoreingenommene Schätzungen.

Leider sind voreingenommene Schätzer in der Regel schwerer zu analysieren. Bei der Regression ging es in den letzten 40 Jahren zum großen Teil um voreingenommene Schätzungen. Dies begann mit einer Gratregression (Hoerl und Kennard, 1970). Siehe Frank und Friedman (1996) und Burr und Fry (2005) für einige Rückblicke und Einsichten.

$p \geq 3$

Ein wichtiger Teil des Bias-Varianz-Problems besteht darin, zu bestimmen, wie Bias abgewickelt werden soll. Es gibt keinen einzigen "besten" Schätzer . Sparsamkeit war in den letzten zehn Jahren ein wichtiger Bestandteil der Forschung. Siehe Hesterberg et al. (2008) für eine teilweise Überprüfung.

$Y$

Ich weiß nicht, ob Sie mit der Bayes-Schätzung einverstanden sind. Wenn ja, können Sie je nach Verlustfunktion unterschiedliche Bayes-Schätzungen erhalten. Ein Satz von Blackwell besagt, dass Bayes-Schätzungen niemals unvoreingenommen sind. Ein entscheidungswissenschaftliches Argument besagt, dass es für jede zulässige Regel (dh für jede andere Regel, mit der es verglichen wird, einen Wert des Parameters gibt, für den das Risiko der vorliegenden Regel (streng) geringer ist als das der Regel, gegen die es sich richtet verglichen werden)) ist eine (verallgemeinerte) Bayes-Regel.

James-Stein-Schätzer sind eine weitere Klasse von Schätzern (die mit Bayes'schen Methoden asymptotisch abgeleitet werden können), die in vielen Fällen besser sind als OLS.

OLS kann in vielen Situationen unzulässig sein und James-Stein Estimator ist ein Beispiel. (auch Steins Paradox genannt).

Es gibt ein schönes Review-Paper von Kay und Eldar über voreingenommene Schätzungen, um Schätzer mit minimalem mittleren quadratischen Fehler zu finden.