Gibt es für jedes MLE-Problem immer einen Maximierer?

Ich frage mich, ob es immer einen Maximierer für ein (log-) Wahrscheinlichkeitsschätzungsproblem gibt. Mit anderen Worten, gibt es eine Verteilung und einige ihrer Parameter, für die das MLE-Problem keinen Maximierer hat?

Meine Frage stammt aus der Behauptung eines Ingenieurs, dass die Kostenfunktion (Wahrscheinlichkeit oder logarithmische Wahrscheinlichkeit, ich bin nicht sicher, welche beabsichtigt war) in MLE immer konkav ist und daher immer einen Maximierer hat.

Danke und Grüße!

Vielleicht hatte der Ingenieur kanonische Exponentialfamilien im Sinn: In ihrer natürlichen Parametrisierung ist der Parameterraum konvex und die logarithmische Wahrscheinlichkeit konkav (siehe Thm 1.6.3 in der mathematischen Statistik von Bickel & Doksum , Band 1 ). Unter einigen milden technischen Bedingungen (im Grunde genommen, dass das Modell "vollwertig" oder gleichwertig ist, dass der natürliche Parameter identifizierbar ist) ist die Log-Likelihood-Funktion streng konkav, was impliziert, dass es einen eindeutigen Maximierer gibt. (Folgerung 1.6.2 in derselben Referenz.) [Auch die von @biostat zitierten Vorlesungsunterlagen machen den gleichen Punkt.]

Beachten Sie, dass sich die natürliche Parametrisierung einer kanonischen Exponentialfamilie normalerweise von der Standardparametrisierung unterscheidet. Während @ cardinal darauf hinweist, dass die log-Wahrscheinlichkeit für die Familie in nicht konvex ist , ist sie in den natürlichen Parametern konkav, die und . $\mathcal{N}(\mu,\sigma^2)$$\sigma^2$$\eta_1 = \mu / \sigma^2$$\eta_2 = -1/\sigma^2$

Die Wahrscheinlichkeitsfunktion erreicht häufig ein Maximum für die Schätzung des interessierenden Parameters. Trotzdem existiert manchmal kein MLE, wie zum Beispiel für die Gaußsche Gemischverteilung oder nichtparametrische Funktionen, die mehr als einen Peak aufweisen (bi oder multi-modal). Ich stehe oft vor dem Problem, populationsgenetische Parameter abzuschätzen, dh Rekombinationsraten, Auswirkung der natürlichen Selektion.

Einer der Gründe, warum @ cardinal auch darauf hinweist, ist der unbegrenzte parametrische Raum.

Außerdem würde ich den folgenden Artikel empfehlen , siehe Abschnitt 3 (zur Funktion) und Abb.3. Es gibt jedoch recht nützliche und nützliche Dokumentinformationen über MLE.

Ich gebe zu, ich kann etwas vermissen, aber -

Wenn dies ein Schätzproblem ist und das Ziel darin besteht, einen unbekannten Parameter zu schätzen, und der Parameter aus einer geschlossenen und begrenzten Menge stammt und die Wahrscheinlichkeitsfunktion stetig ist, muss für diesen Parameter ein Wert vorhanden sein, der maximiert die Wahrscheinlichkeitsfunktion. Es muss also ein Maximum geben. (Es muss nicht eindeutig sein, es muss jedoch mindestens ein Maximum vorhanden sein. Es gibt keine Garantie dafür, dass alle lokalen Maxima globale Maxima sind, dies ist jedoch keine notwendige Bedingung für die Existenz eines Maximums.)

Ich weiß nicht, ob die Wahrscheinlichkeitsfunktion immer konvex sein muss, aber das ist keine notwendige Bedingung, damit es ein Maximum gibt.

Wenn ich etwas übersehen habe, würde ich gerne hören, was mir fehlt.

Vielleicht findet jemand das folgende einfache Beispiel nützlich.

$\theta$$\theta \in (0,1)$$(0,1)$$\theta$