Welche Distributionen haben geschlossene Lösungen für die Abschätzung der maximalen Wahrscheinlichkeit?

Welche Verteilungen haben geschlossene Lösungen für die Maximum-Likelihood-Schätzungen der Parameter aus einer Stichprobe unabhängiger Beobachtungen?

Ohne nennenswerten Verlust der Allgemeinheit können wir annehmen, dass die Wahrscheinlichkeitsdichte (oder Masse) für jede Beobachtung x i (von n Beobachtungen) streng positiv ist, was es uns ermöglicht, sie als Exponential zu schreiben$f(x_i)$$x_i$$n$

$$f(x_i) = \exp{(g(x_i,\theta))}$$

für einen Parametervektor .$\theta = (\theta_j)$

Das Gleichsetzen des Gradienten der logarithmischen Wahrscheinlichkeitsfunktion mit Null (die stationäre Punkte der Wahrscheinlichkeit findet, unter denen sich alle inneren globalen Maxima befinden, falls eines existiert) ergibt einen Satz von Gleichungen der Form

$$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$$

eine für jeden . Damit eine dieser Bedingungen erfüllt ist , möchten wir in der Lage sein, die x i -Terme von den θ -Termen zu trennen . (Alles ergibt sich aus dieser Schlüsselidee, die durch das Prinzip der mathematischen Faulheit motiviert ist : Machen Sie so wenig Arbeit wie möglich; denken Sie vor dem Rechnen voraus; packen Sie zuerst einfache Versionen schwieriger Probleme an.) Der allgemeinste Weg, dies zu tun, besteht darin, die Gleichungen zu erstellen die Form$j$$x_i$$\theta$

$$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$$

für bekannte Funktionen , τ j und α j , denn dann wird die Lösung durch Lösen der simultanen Gleichungen erhalten$\eta_j$$\tau_j$$\alpha_j$

$$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$$

für . Im Allgemeinen werden diese schwer zu lösen sein, vorausgesetzt, die Menge der Werte von ( n α j ( θ $\theta$vollständige Informationen überθ geben, wir könnten diesen Vektor einfachanstelle vonθselbst verwenden (wodurch die Idee einer "geschlossenen Form" -Lösung etwas verallgemeinert wird, aber auf eine hochproduktive Weise). In einem solchen Fallergibt dieIntegration in Bezug auf&thgr;$\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$$\theta$ $\theta$$\theta_j$

$$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$$

(wobei für alle Komponenten von & thgr ; mit Ausnahme von & thgr ; j steht ). Da die linke Seite funktionell unabhängig ist & theta; j , müssen wir haben gezeigt, dass τ j ( x ) = T ( x ) für einige feste Funktion T ; dass B überhaupt nicht von θ abhängen darf ; und η j sind Derivate einer Funktion H ( θ ) und der α j sind Derivate von irgendeiner anderen Funktion $\theta_j'$$\theta$$\theta_j$$\theta_j$$\tau_j(x)=T(x)$$T$$B$$\theta$$\eta_j$$H(\theta)$$\alpha_j$ , beide funktional unabhängig von den Daten. Woher$A(\theta)$

$$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$$

Dichten, die in dieser Form geschrieben werden können, bilden die bekannte Koopman-Pitman-Darmois- oder Exponentialfamilie . Es umfasst wichtige Parameterfamilien, sowohl kontinuierliche als auch diskrete, einschließlich Gamma, Normal, Chi-Quadrat, Poisson, Multinomial und viele andere .

Ich weiß nicht, ob ich sie alle auflisten könnte. Das Exponentielle, das Normale und das Binomiale fallen in die Klasse der Exponentialfamilien. Die Exponentialfamilie hat eine ausreichende Statistik im Exponenten und die mle ist oft eine nette Funktion dieser ausreichenden Statistik.