Woher weiß ich, welche Methode zur Parameterschätzung ich wählen soll?

Es gibt eine ganze Reihe von Methoden zur Parameterschätzung. MLE, UMVUE, MoM, Entscheidungstheorie und andere scheinen alle einen ziemlich logischen Grund dafür zu haben, warum sie für die Parameterschätzung nützlich sind. Ist eine Methode besser als die andere, oder handelt es sich nur darum, wie wir den Schätzer für die "beste Anpassung" definieren (ähnlich wie die Minimierung von orthogonalen Fehlern andere Schätzer als ein gewöhnlicher Ansatz für kleinste Quadrate hervorbringt)?

Hier gibt es eine leichte Verwechslung von zwei Dingen: Methoden zum Ableiten von Schätzern und Kriterien zum Bewerten von Schätzern. Maximum Likelihood (ML) und Method-of-Moments (MoM) sind Methoden, um Schätzer abzuleiten. Die einheitliche Minimum-Varianz-Unparteilichkeit (UMVU) und die Entscheidungstheorie sind Kriterien für die Bewertung verschiedener Schätzer, sobald Sie sie haben, aber sie geben keine Auskunft darüber, wie Sie sie ableiten können.

Von den Methoden zur Ableitung von Schätzern erzeugt ML in der Regel Schätzer, die effizienter sind (dh eine geringere Varianz aufweisen) als MoM, wenn Sie das Modell kennen, unter dem Ihre Daten abgeleitet wurden (der "Datenerzeugungsprozess" (DGP) im Jargon). Das MoM macht jedoch weniger Annahmen über das Modell. Wie der Name schon sagt, werden nur ein oder mehrere Momente verwendet, normalerweise nur der Mittelwert oder nur der Mittelwert und die Varianz. Daher ist es manchmal robuster, wenn Sie sich über den DGP nicht sicher sind. Es kann mehr als einen MoM-Schätzer für dasselbe Problem geben, während es, wenn Sie den DGP kennen, nur einen ML-Schätzer gibt.

Bei den Bewertungsmethoden für Schätzer hängt die Entscheidungstheorie von einer Verlustfunktion ab, mit der Sie Ihren Schätzer beurteilen können, obwohl die Ergebnisse für eine Reihe von „vernünftigen“ Verlustfunktionen ziemlich robust sein können. UMVU-Schätzer existieren oft nicht einmal. In vielen Fällen gibt es keinen unvoreingenommenen Schätzer, der immer eine minimale Varianz aufweist. Und das Kriterium der Unparteilichkeit ist auch von fraglichem Nutzen, da es für Transformationen nicht unveränderlich ist. Würden Sie beispielsweise eine unvoreingenommene Schätzung des Quotenverhältnisses oder des logarithmischen Quotenverhältnisses bevorzugen? Die beiden werden unterschiedlich sein.

Ich würde vorschlagen, dass die Art des Schätzers von ein paar Dingen abhängt:

1. Was sind die Konsequenzen einer falschen Schätzung? (zB ist es weniger schlimm, wenn Ihr Schätzer zu hoch als zu niedrig ist? Oder ist Ihnen die Richtung des Fehlers gleichgültig? Wenn ein Fehler doppelt so groß ist, ist dies doppelt so schlimm? Ist es ein prozentualer Fehler oder ein absoluter Fehler?) das ist wichtig? Ist die Schätzung nur ein Zwischenschritt, der für die Vorhersage erforderlich ist? Ist das Verhalten einer großen Stichprobe wichtiger oder weniger wichtig als das Verhalten einer kleinen Stichprobe?)
2. Was ist Ihre vorherige Information über die Menge, die Sie schätzen? (zB wie hängen die Daten funktional mit Ihrer Menge zusammen? Wissen Sie, ob die Menge positiv ist? Diskret? Haben Sie diese Menge vorher geschätzt? Wie viele Daten haben Sie? Gibt es eine "Gruppeninvarianz" -Struktur in Ihren Daten?)
3. Welche Software hast du? (z. B. kein guter Vorschlag für MCMC, wenn Sie nicht über die entsprechende Software verfügen, oder die Verwendung eines GLMM, wenn Sie nicht wissen, wie dies zu tun ist.)

Die ersten beiden Punkte sind kontextspezifisch. Wenn Sie über Ihre spezifische Anwendung nachdenken , können Sie im Allgemeinen bestimmte Eigenschaften definieren , die Ihr Schätzer haben soll. Sie wählen dann den Schätzer, den Sie tatsächlich berechnen können und der so viele Eigenschaften hat, wie Sie möchten.

Ich denke, der Mangel an Kontext, den ein Lehrgang mit Schätzung hat, bedeutet, dass häufig "Standard" -Kriterium verwendet werden, ähnlich wie für vorherige Informationen (der offensichtlichste "Standard" ist, dass Sie die Stichprobenverteilung Ihrer Daten kennen). Allerdings sind einige der Standardmethoden gut, insbesondere wenn Sie nicht genug über den Kontext wissen. Wenn Sie jedoch den Kontext kennen und über die Tools verfügen , um diesen Kontext zu integrieren, sollten Sie dies tun , da Sie ansonsten möglicherweise kontraintuitive Ergebnisse erhalten (aufgrund dessen, was Sie ignoriert haben).

Ich bin in der Regel kein großer Fan von MVUE, weil man oft zu viel Varianz opfern muss, um unvoreingenommen zu sein. Stellen Sie sich zum Beispiel vor, Sie werfen Dartpfeile auf eine Dartscheibe und wollen ins Schwarze treffen. Angenommen, die maximale Abweichung vom Bullauge beträgt 6 cm für eine bestimmte Wurfstrategie, aber der Mittelpunkt der Pfeilspitzen liegt 1 cm über dem Bullauge. Dies ist keine MVUE, da das Zentrum auf dem Bullseye liegen sollte. Angenommen, um die Verteilung um durchschnittlich 1 cm zu verschieben, müssen Sie den Radius auf mindestens 10 cm erhöhen (der maximale Fehler beträgt also jetzt 10 cm und nicht 6 cm). Dies ist die Art von Dingen, die mit MVUE passieren können, sofern die Varianz nicht bereits gering ist. Angenommen, ich war ein viel genauerer Wurf und könnte meinen Fehler auf 0,1 cm eingrenzen. Jetzt ist die Voreingenommenheit wirklich wichtig, denn ich werde niemals ins Schwarze treffen!

Kurz gesagt, für mich ist die Voreingenommenheit nur dann von Bedeutung, wenn sie im Vergleich zur Varianz gering ist. Und Sie erhalten normalerweise nur kleine Abweichungen, wenn Sie eine große Stichprobe haben.