Warum muss die Log-Wahrscheinlichkeit auf minus unendlich gehen, wenn sich der Parameter der Grenze des Parameterraums nähert?

8

In einer kürzlich gehaltenen Vorlesung wurde mir gesagt, dass die Log-Wahrscheinlichkeit auf minus unendlich gehen muss, damit die maximale Wahrscheinlichkeitsschätzung gültig ist, wenn der Parameter an die Grenze des Parameterraums geht. Aber ich verstehe nicht, warum das wichtig ist. Angenommen, die Log-Wahrscheinlichkeit geht auf eine Art Asymptote über. Dann ist der Parameter, der die Wahrscheinlichkeit maximiert, immer noch die maximale Wahrscheinlichkeitsschätzung, oder?

maximum-likelihood mrz
quelle
2
(+1). Meine Güte, wenn ich also eine ML-Anpassung einer Normalverteilung an meine Daten durchführe und die möglichen Werte der SD auf den Bereich von bis und den Mittelwert auf den Bereich ich denke meine Schätzungen werden nicht mehr gültig sein .... :-). Da diese Endpunkte außerhalb des Bereichs der IEEE-Gleitkommapräzision liegen, muss dies bedeuten, dass niemand der Statistiksoftware vertrauen kann, die auf Standardcomputergeräten ausgeführt wird. Es muss Zeit für uns alle sein, diesen alten Abakus herauszuziehen (er steht mit dem Rechenschieber im Regal) und die Berechnungen wieder von Hand durchzuführen. 10−1000101000±101000,
whuber
2
Das übliche Argument für die asymptotische Normalität des ML-Schätzers basiert auf der Annahme, dass sich der wahre Wert des Parameters im Inneren des Parameterraums befindet. Vermutlich wird die Annahme, von der Sie sprechen, verwendet, um diese Innerlichkeit zu beweisen. Die Bedingung, die Sie erwähnen, ist definitiv nicht wesentlich im Sinne einer Notwendigkeit.
Bill
Was ist der Parameterraum, was ist der betreffende Parameter und welche Verteilung? Was Ihnen gesagt wird, fehlen viele wichtige Informationen, damit man seine Gültigkeit beurteilen kann.
Alecos Papadopoulos

Antworten:

3

Damit die maximale Wahrscheinlichkeitsschätzung gültig ist, muss die Protokollwahrscheinlichkeit auf minus unendlich gehen, wenn der Parameter an die Grenze geht

Dies ist gleichbedeutend damit, dass die Wahrscheinlichkeit eines Parameters an der Grenze des Parameterraums 0 werden muss, damit das Ergebnis gültig ist.

Zunächst einmal können Sie den Parameterraum auf Werte beschränken, die alle eine positive Wahrscheinlichkeit haben und dennoch eine gültige Schätzung erhalten.

Zweitens, selbst wenn Sie beispielsweise , kommen Sie der Grenze nicht nahe, da jedes Standardoptimierungspaket eine Art zufällige Initialisierung durchführt und sich dann mit einer Methode wie dem Gradienten dem Minimum nähert Abstieg, konjugierter Gradient oder ein anderer. In beiden Fällen nähern Sie sich fast nie der Grenze des Parameterraums, daher verstehe ich nicht ganz, warum die Grenzen überhaupt wichtig sind.(−∞,∞)

Und selbst wenn Sie dies absichtlich tun, werden Sie an einem Punkt die Gleitkommapräzision Ihres Betriebssystems erreichen. Ich kann Ihnen garantieren , dass an diesem Punkt, Sie haben nicht wirklich die Grenze genähert viel. :) :)−∞

Persönlich finde ich das Unterlaufproblem, das bei der Berechnung von Summen und Produkten mit sehr geringen Wahrscheinlichkeiten auftritt, und den Log-Summen-Exp-Trick viel interessanter und bemerkenswerter, was in der Praxis tatsächlich sehr wichtig ist, im Gegensatz zum Erreichen der Grenzen des Parameterraums.

Mittel zur Bedeutung
quelle