EM-Algorithmus Übungsproblem

Dies ist ein Übungsproblem für eine Zwischenprüfung. Das Problem ist ein Beispiel für einen EM-Algorithmus. Ich habe Probleme mit Teil (f). Ich liste die Teile (a) - (e) zur Vervollständigung auf und falls ich früher einen Fehler gemacht habe.

Sei unabhängige exponentielle Zufallsvariablen mit der Rate . Leider werden die tatsächlichen Werte nicht beobachtet, und wir beobachten nur, ob die Werte innerhalb bestimmter Intervalle liegen. Sei , und für . Die beobachteten Daten bestehen aus . $X_1,\ldots,X_n$ $\theta$ $X$ $X$ $G_{1j} = \mathbb{1}\left\{X_j < 1\right\}$ $G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}$ $G_{3j} = \mathbb{1}\left\{X_j > 2\right\}$ $j=1,\ldots,n$ $(G_{1j},G_{2j},G_{3j})$

(a) Geben Sie die beobachtete Datenwahrscheinlichkeit an:

$\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{1<X_j<2 \right\}^{G_{2j}}\text{Pr}\left\{X_j >2\right\}^{G_{3j}}\\ &= \prod_{j=1}^n \left(1-e^{-\theta}\right)^{G_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{G_{2j}}\left(e^{-2\theta}\right)^{G_{3j}} \end{align*}$

(b) Geben Sie die vollständige Datenwahrscheinlichkeit an

$\begin{align*} L(\theta | X,G) &= \prod_{j=1}^n \left(\theta e^{-\theta x_j}\right)^{G_{1j}}\left(\theta e^{-\theta x_j}\right)^{G_{2j}}\left(\theta e^{-\theta x_j}\right)^{G_{3j}} \end{align*}$

$\begin{align*} f(x_j|G,\theta) &= \dfrac{f_{X,G}(x_j, g)}{f_G(g)}\\ &= \dfrac{ \theta e^{-\theta x_j}\mathbb{1}\left\{x_j \in \text{region r s.t. } G_{rj}=1\right\}}{\left(1-e^{-\theta}\right)^{g_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{g_{2j}}\left(e^{-2\theta}\right)^{g_{3j}}} \end{align*}$

(d) E-Schritt. Geben Sie die Funktion $Q(\theta,\theta^i)$

$\begin{align*} Q(\theta,\theta^i) &= \text{E}_{X|G,\theta^i}\left[ \log{f(\mathbf{x}|G,\theta)}\right]\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}-e^{-2\theta})} - N_3\log{e^{-2\theta}}\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}(1-e^{-\theta}))} + 2\theta N_3\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3 \end{align*}$

wobei $N_1=\sum_{j=1}^n g_{1j}, N_2=\sum_{j=1}^n g_{2j}, N_3=\sum_{j=1}^n g_{3j}$

(e) Geben Sie Ausdrücke für für . $\text{E}\left[X_j|G_{rj}=1,\theta^i\right]$ $r=1,2,3$

Ich werde meine Ergebnisse auflisten, von denen ich mir ziemlich sicher bin, dass sie richtig sind, aber die Ableitungen wären für diese bereits lange Frage etwas lang:

$\begin{align*} \text{E}\left[X_j|G_{1j}=1,\theta^i\right] &= \left(\dfrac{1}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{2j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-\theta^i}-e^{-2\theta^i}}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{3j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right) \end{align*}$

Dies ist der Teil, an dem ich festhalte, und es könnte an einem früheren Fehler liegen:

(f) M-Schritt. Finden Sie das , das maximiert $\theta$ $Q(\theta,\theta^i)$

Nach dem Gesetz der totalen Erwartung haben wir Dafür $\begin{align*} \text{E}\left[X_j|G,\theta^i\right] &= \left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right) + \left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) + \left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= 1/\theta^i \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ &= n\log{\theta} - \theta\dfrac{n}{\theta^i} - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - \dfrac{n}{\theta^i} - \dfrac{(N_1+N_2)e^{-\theta}}{1-e^{-\theta}} + N_2+2N_3 \end{align*}$

Als nächstes sollte ich dies auf Null setzen und nach lösen , aber ich habe dies sehr lange versucht und ich kann nicht nach lösen ! $\theta$ $\theta$

self-study maximum-likelihood latent-variable expectation-maximization bdeonovic
quelle

Ich interpretierte für eine Minute als eine Kraft von . Am verwirrendsten. Normalerweise wird die Iterationsnummer (Schrittnummer) in Klammern oder Klammern damit nicht mit der ten Potenz verwechselt wird . Wahrscheinlich am besten zu sagen, dass es das ist, worum es in der Frage geht (vorausgesetzt, ich habe es jetzt richtig).

θ^{i}

$\theta^i$

θ

$\theta$

[i]

$[i]$

(i)

$(i)$

θ^{(i)}

$\theta^{(i)}$

i

$i$

θ^{i}

$\theta^{i}$

Glen_b -State Monica

Ja Glen, tut mir leid, es ist in der Tat die te Iteration des EM-Algorithmus.

i

$i$

Bdeonovic

Antworten:

Die vollständige Datenwahrscheinlichkeit sollte nicht G! Es sollte einfach die Wahrscheinlichkeit von wenn die exponentiell sind. Beachten Sie, dass sich die vollständige Datenwahrscheinlichkeit, wie Sie sie geschrieben haben, zu einer exponentiellen Wahrscheinlichkeit vereinfacht, da nur eines der kann. Wenn Sie die in der vollständigen Datenwahrscheinlichkeit belassen, werden Sie jedoch später durcheinander gebracht. $\theta$ $X$ $G_{rj}$ $G$

In Teil (d) sollte die Erwartung der vollständigen Datenprotokollwahrscheinlichkeit und nicht der beobachteten Datenprotokollwahrscheinlichkeit berücksichtigt werden.

Sie sollten auch nicht das Gesetz der totalen Erwartung anwenden! Denken Sie daran, dass G beobachtet wird und nicht zufällig ist. Sie sollten daher nur eine dieser bedingten Erwartungen für jedes ausführen . Ersetzen Sie diese bedingte Erwartung einfach durch den Term und führen Sie dann den M-Schritt aus. $X_j$ $X_j^{(i)}$

jsk
quelle

@ Benjamin Wie kommt das Problem voran? Konnte ich Ihnen helfen, zu verstehen, wie es geht?

Jsk

Danke für die Kommentare @jsk. Ich war letzte Nacht müde, also bin ich ins Bett gegangen, aber ich werde das heute Morgen nach dem Frühstück wieder angehen :)

Bdeonovic

Ich glaube, ich habe es herausgefunden! Danke nochmal! Dies war eigentlich in Vorbereitung auf ein Finale, das ich heute habe, also hat es wirklich geholfen, einige Dinge über die EM zu klären.

Bdeonovic

Bitte. Hoffe dein Finale läuft heute gut!

Jsk

Basierend auf den Kommentaren von @ jsk werde ich versuchen, meine Fehler zu beheben:

$\begin{align*} L(\theta|X,G) &= \prod_{j=1}^n \theta e^{-\theta x_j} \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n \text{E}\left[X_j|G,\theta^i\right]\\ &= n\log{\theta} - \theta\left(\dfrac{\sum_{j=1}^n g_{1j}}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i} - e^{-\theta^i}(1+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{2j}}{e^{-\theta^i}(1-e^{-\theta^i})}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{3j}}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= n\log{\theta} - \theta N_1 A - \theta N_2 B - \theta N_3 C\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - N_1A-N_2B - N_3C \overset{set}{=}0 \end{align*}$

wir nach lösen, erhalten wir $\theta$ $\theta^{(i+1)} = \dfrac{n}{N_1A+N_2B+N_3C}$

bdeonovic
quelle