Wann ist es wichtig, einen unvoreingenommenen Schätzer zu haben?

Wir haben ein paar Fragen und Antworten darüber, wann man eine voreingenommene Schätzung einer unvoreingenommenen vorziehen würde, aber ich habe auf der umgekehrten Frage nichts gefunden:

In welchen Situationen ist es wichtig, nur unvoreingenommene Schätzer zu berücksichtigen ?

Es wird viel Wert auf das Konzept der Unparteilichkeit bei statistischen Einführungskursen gelegt, aber ich habe noch nie eine überzeugende Verteidigung dafür gelesen. Da wir Daten in der Regel nur einmal erfassen, wann ist es sinnvoll, im Durchschnitt korrekt zu sein (abgesehen von dem möglichen psychologischen Komfort, den sie bieten)? In welchen Situationen würde man brauchen , richtig im Durchschnitt zu sein?

Ich bin offen für philosophische Argumente, würde aber konkrete Beispiele aus Forschung oder Industrie bevorzugen.

estimation bias unbiased-estimator Matthew Drury
quelle

Es ist schwierig , jede definitive Antwort auf sich vorstellen kann, aus dem einfachen Grund bestehen , dass , obwohl eine unvoreingenommene Schätzer gut quantifiziert wird - seine Vorspannung Null - ein voreingenommen Schätzer ist nicht: seine Vorspannung könnte alles sein. Wo ziehst du die Grenze? Wäre ein Schätzer mit einer Abweichung von im Vergleich zu einem unvoreingenommenen Schätzer nicht akzeptabel? Natürlich nicht.

10^{- 100} %

$10^{-100}\%$

whuber

Haben Sie Probleme mit meiner Verwendung des Wortes "Bedürfnis"? Wie wäre es mit "in welchen Situationen hätte man einen starken zwingenden Wunsch, im Durchschnitt korrekt zu sein"?

Matthew Drury

Gleicher Kommentar: Jeder Umstand wird mit einem akzeptablen Fehler ungleich Null einhergehen. Wenn jemand behauptet, dass er ein zwingendes Bedürfnis hat, im Durchschnitt korrekt zu sein, können Sie ihm das Gegenteil beweisen, indem Sie zeigen, dass er genauso gut indem er für ein ausreichend kleines Nicht-Null- vom Durchschnitt entfernt ist . Dies legt nahe, dass es besser ist, Fragen zu stellen wie "Welche Eigenschaften genießen unvoreingenommene Schätzer? Wie viel könnten diese Eigenschaften durch die Berücksichtigung voreingenommener Schätzer verbessert werden und wie hoch wären die Kosten für die Durchführung solcher Verbesserungen?"

ϵ %

$\epsilon\%$

ϵ

$\epsilon$

whuber

Es gibt definitiv überzeugende Beweise, wann man keine unvoreingenommenen Schätzer verwenden sollte: en.wikipedia.org/wiki/…

Alex R.

+1 aber ich denke immer noch, dass diese Frage zu hoch ist ...

Haitao Du

Antworten:

Ich denke, man kann mit Sicherheit sagen, dass es keine Situation gibt, in der man einen unvoreingenommenen Schätzer braucht . zum Beispiel, wenn $\mu = 1$ und wir haben $E[\hat \mu] = \mu + \epsilon$ Es muss eine geben $\epsilon$ klein genug, dass es dich unmöglich interessieren kann.

Vor diesem Hintergrund denke ich, dass es wichtig ist, unvoreingenommene Schätzer eher als Grenze für etwas Gutes zu sehen. Wenn alles andere gleich bleibt , ist weniger Voreingenommenheit besser. Und es gibt viele konsistente Schätzer, bei denen die Verzerrung in moderaten Stichproben so hoch ist, dass der Schätzer stark beeinflusst wird. Beispielsweise ist in den meisten Maximum-Likelihood-Schätzern die Schätzung von Varianzkomponenten häufig nach unten vorgespannt. In Fällen von Vorhersageintervallen kann dies beispielsweise angesichts einer Überanpassung ein wirklich großes Problem sein.

Kurz gesagt, es würde mir sehr schwer fallen, eine Situation zu finden, in der wirklich unvoreingenommene Schätzungen erforderlich sind. Es ist jedoch recht einfach, Probleme zu finden, bei denen die Verzerrung eines Schätzers das entscheidende Problem ist. Es ist wahrscheinlich nie unbedingt erforderlich, dass ein Schätzer unvoreingenommen ist. Wenn ein Schätzer jedoch unvoreingenommen ist, bedeutet dies, dass ein potenziell schwerwiegendes Problem behoben wird.

BEARBEITEN:

Nachdem ich ein wenig darüber nachgedacht hatte, kam mir der Gedanke, dass ein Fehler außerhalb der Stichprobe die perfekte Antwort auf Ihre Anfrage ist. Die "klassische" Methode zum Schätzen von Fehlern außerhalb der Stichprobe ist der Maximum-Likelihood-Schätzer, der sich bei normalen Daten auf den Fehler innerhalb der Stichprobe reduziert. Während dieser Schätzer mit Modellen mit großen Freiheitsgraden konsistent ist, ist die Verzerrung so schlecht, dass er entartete Modelle empfiehlt (dh 0 Fehler außerhalb der Stichprobe bei Modellen schätzen, die stark überanpassen). Die Kreuzvalidierung ist eine clevere Methode, um eine unvoreingenommene Schätzung des Fehlers außerhalb der Stichprobe zu erhalten. Wenn Sie die Kreuzvalidierung zur Modellauswahl verwenden, verzerren Sie Ihre Fehlerschätzung außerhalb der Stichprobe erneut nach unten. Aus diesem Grund verfügen Sie über einen Validierungsdatensatz, um eine unvoreingenommene Schätzung des endgültig ausgewählten Modells zu erhalten.

Natürlich bleibt mein Kommentar zu wirklich unvoreingenommen: Wenn ich einen Schätzer hätte, hätte ich den Wert des Fehlers außerhalb der Stichprobe + erwartet $\epsilon$ Ich würde es gerne stattdessen für klein genug verwenden $\epsilon$ . Die Methode der Kreuzvalidierung ist jedoch motiviert, indem versucht wird, einen unvoreingenommenen Schätzer für den Fehler außerhalb der Stichprobe zu erhalten. Und ohne Kreuzvalidierung würde das Gebiet des maschinellen Lernens völlig anders aussehen als jetzt.

Cliff AB
quelle