Wie viel Kalkül ist erforderlich, um die Schätzung der maximalen Wahrscheinlichkeit zu verstehen?

Ich versuche einen Studienplan für das Erlernen von MLE zu planen. Um dies zu tun, versuche ich herauszufinden, was das Mindestmaß an Kalkül ist, das zum Verständnis von MLE erforderlich ist.

Ist es ausreichend, die Grundlagen der Analysis zu verstehen (dh das Minimum und Maximum der Funktionen zu finden), um MLE zu verstehen?

Um meinen Kommentar zu erweitern - es kommt darauf an. Wenn Sie nur versuchen, die Grundlagen zu verstehen, erhalten Sie einen fairen Weg, um Extrema von Funktionen zu finden (obwohl in vielen praktischen Fällen von MLE die Wahrscheinlichkeit numerisch maximiert ist. In diesem Fall benötigen Sie einige andere Fähigkeiten sowie einige Grundrechnung).

Ich werde die schönen einfachen Fälle beiseite lassen, in denen Sie explizite algebraische Lösungen erhalten. Trotzdem ist Kalkül oft sehr nützlich.

Ich werde durchweg Unabhängigkeit annehmen. Nehmen wir den einfachsten Fall der 1-Parameter-Optimierung. Zuerst betrachten wir einen Fall, in dem wir Ableitungen nehmen und eine Funktion des Parameters und eine Statistik trennen können.

Betrachten Sie die Dichte$\rm{Gamma}(\alpha,1)$

$$f_X(x;\alpha) = \frac{1}{\Gamma(\alpha)} x^{\alpha-1} \exp(-x); \,\,\, x>0;\,\,\alpha>0$$

Dann ist für eine Stichprobe der Größe die Wahrscheinlichkeit$n$

$$\mathcal{L}(\alpha; \mathbf{x}) = \prod_{i=1}^n f_X(x_i;\alpha)$$

und so ist die Log-Wahrscheinlichkeit wobei . Derivate nehmen,

$$\mathcal{l}(\alpha; \mathbf{x}) = \sum_{i=1}^n \ln{f_X(x_i;\alpha)} \\ = \sum_{i=1}^n \ln{\left(\frac{1}{\Gamma(\alpha)} x_i^{\alpha-1} \exp(-x_i)\right)}\\ $$ $$= \sum_{i=1}^n -\ln{\Gamma(\alpha)}+(\alpha-1)\ln{x_i} -x_i\\ $$ $$= -n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}$$ $S_x=\sum_{i=1}^n\ln{x_i}$

$$\frac{d}{d\alpha}\mathcal{l}(\alpha; \mathbf{x}) = \frac{d}{d\alpha} \left(-n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}\right)\\ $$ $$= -n\frac{\Gamma'(\alpha)}{{\Gamma(\alpha)}}+S_x\\ $$ $$= -n\psi(\alpha)+S_x$$

Wenn wir das also auf Null setzen und versuchen, nach zu lösen , können wir Folgendes erhalten: $\hat{\alpha}$

$$\psi(\hat{\alpha})=\ln{G(\mathbf{x})}\\ $$

Dabei ist die Digammafunktion und das geometrische Mittel . Wir dürfen nicht vergessen, dass Sie die Ableitung im Allgemeinen nicht einfach auf Null setzen können und sicher sein können, dass Sie den Argmax finden . Sie müssen immer noch in gewisser Weise zeigen, dass die Lösung ein Maximum ist (in diesem Fall ist es). Im Allgemeinen erhalten Sie möglicherweise Minima oder horizontale Wendepunkte, und selbst wenn Sie ein lokales Maximum haben, haben Sie möglicherweise kein globales Maximum (das ich gegen Ende anspreche).$\psi(\cdot)$$G(\cdot)$

Unsere Aufgabe ist es nun, den Wert von für den$\hat{\alpha}$

$$\psi(\hat{\alpha})=g$$

Dabei ist .$g=\ln{G(\mathbf{x})}$

Dies hat keine Lösung in Bezug auf Elementarfunktionen, es muss numerisch berechnet werden; Zumindest konnten wir auf der einen Seite eine Funktion des Parameters und auf der anderen Seite eine Funktion der Daten erhalten. Es gibt verschiedene Nullfindungsalgorithmen, die verwendet werden können, wenn Sie keine explizite Methode zum Lösen der Gleichung haben (selbst wenn Sie keine Ableitungen haben, gibt es beispielsweise einen Binärabschnitt).

Oft ist es nicht so schön. Betrachten Sie die logistische Dichte mit Einheitenskala: Weder der Argmax der Wahrscheinlichkeit noch der Log-Likelihood-Funktion kann leicht algebraisch ermittelt werden - Sie müssen numerische Optimierungsmethoden verwenden. In diesem Fall verhält sich die Funktion ziemlich gut und die Newton-Raphson-Methode sollte normalerweise ausreichen, um die ML-Schätzung von zu lokalisieren . Wenn die Ableitung nicht verfügbar war oder Newton-Raphson nicht konvergiert, sind möglicherweise andere numerische Optimierungsmethoden erforderlich, z. B. der Goldene Schnitt (dies ist kein Überblick über die besten verfügbaren Methoden, sondern nur einige Methoden, die Sie besser kennen wahrscheinlich auf einer grundlegenden Ebene zu begegnen).

$$f(x; \mu) =\frac{1}{4} \operatorname{sech}^2\!\left(\frac{x-\mu}{2}\right).$$ μ$\mu$

Im Allgemeinen können Sie möglicherweise nicht einmal so viel tun. Betrachten Sie einen Cauchy mit Median und Einheitenskala:$\theta$

$$f_X(x;\theta) = \frac{1}{\pi (1 + (x-\theta)^2)}\,.$$

Im Allgemeinen hat die Wahrscheinlichkeit hier kein eindeutiges lokales Maximum, sondern mehrere lokale Maxima. Wenn Sie ein lokales Maximum finden, gibt es möglicherweise ein anderes, größeres an anderer Stelle. (Manchmal konzentrieren sich die Leute darauf, das lokale Maximum zu identifizieren, das dem Median am nächsten liegt, oder so etwas.)

Anfänger können leicht davon ausgehen, dass sie, wenn sie einen konkaven Wendepunkt finden, den Argmax der Funktion haben, aber neben mehreren Modi (bereits besprochen) möglicherweise Maxima gibt, die überhaupt nicht mit Wendepunkten verbunden sind. Derivate zu nehmen und auf Null zu setzen, reicht nicht aus; Betrachten Sie beispielsweise die Schätzung des Parameters für eine Uniform auf .$(0,\theta)$

In anderen Fällen kann der Parameterraum diskret sein.

Manchmal kann es durchaus schwierig sein, das Maximum zu finden.

Und das ist nur eine Auswahl der Probleme mit einem einzigen Parameter. Wenn Sie mehrere Parameter haben, werden die Dinge wieder intensiver.

Ja. Natürlich sprechen wir nicht von eindimensionalen Funktionen, sondern von Funktionen , die maximiert werden sollen (dh der Wahrscheinlichkeit), so dass dies etwas weiter fortgeschritten ist als die eindimensionale. dimensionale Fall.$\mathbb{R}^p \to \mathbb{R}$

Einige Einrichtungen mit Logarithmen sind auf jeden Fall hilfreich, da das Maximieren des Logarithmus der Wahrscheinlichkeit normalerweise viel einfacher ist als das Maximieren der Wahrscheinlichkeit selbst.

Viel mehr als nur einfaches MLE kann verstanden werden (Informationsmatrizen usw.), wenn Sie sich mit zweiten Ableitungen von -Funktionen befassen können , dh mit der hessischen Matrix.$\mathbb{R}^p \to \mathbb{R}$