Hilfe bei der Erwartungsmaximierung aus Papier: Wie kann die vorherige Verteilung einbezogen werden?

9

Die Frage basiert auf dem Artikel mit dem Titel: Bildrekonstruktion in der diffusen optischen Tomographie unter Verwendung des gekoppelten Strahlungstransport-Diffusions-Modells

Download-Link

Die Autoren wenden EM-Algorithmus sparsity Regularisierung einer unbekannten Vektors die Pixel eines Bildes zu schätzen. Das Modell ist gegeben durch $l_1$ $\mu$

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ Die Schätzung ist in Gleichung (8) als angegeben

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

In meinem Fall habe ich als Filter der Länge und sind Vektoren, die die Filter darstellen. So, $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

Das Modell kann wie folgt umgeschrieben werden:

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

Frage: Problemformulierung: (n mal 1) ist die unbeobachtete Eingabe und ist der mit unbekannter Varianz additives Rauschen. Die MLE-Lösung basiert auf Expectation Maximization (EM). ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

In der Arbeit ist Gleichung (19) die Funktion - die vollständige Log-Wahrscheinlichkeit, aber für meinen Fall verstehe ich nicht, wie ich die Verteilung von in den vollständigen Log-Likelihood-Ausdruck aufnehmen kann. $A$ $A, \mu$

Wie hoch ist die vollständige Log-Wahrscheinlichkeit bei Verwendung von EM von einschließlich der vorherigen Verteilung? $y$

self-study bayesian maximum-likelihood expectation-maximization moving-average SKM
quelle

Wollen Sie tatsächlich die Log-Wahrscheinlichkeit oder wollen Sie stattdessen die Log-Posterior? Nur letzteres wird den Laplace-Prior einschließen. Ersteres kann nur erhalten werden, indem Sie das Protokoll der Wahrscheinlichkeit nehmen, das Sie anscheinend bereits ausgeschrieben haben

Ich möchte zwei Ausdrücke: (1) Einer, der zum Auffinden der Fisher-Informationsmatrix verwendet wird, und (2) der andere sind das PDF des vollständigen Datensatzes, der die verborgene Variable und die Beobachtungen enthält, die das Gelenk bilden Wahrscheinlichkeitsdichte der beobachteten Daten als Funktion des Parameters . Das PDF, das ich geschrieben habe, gilt für das MA-Modell zur blinden Schätzung von . Aber wie wird es für die Sparsity Constraint = Laplacian Prior anders sein, so dass die Fisher Information Matrix aus den partiellen Ableitungen der Log-Wahrscheinlichkeit gefunden werden kann.

Z

$Z$

θ

$\theta$

θ

$\theta$

SKM

@ Xi'an: Ich verstehe nicht, wie man die 3 PDFs einfügt, die den Prior in die Formulierung der Log-Wahrscheinlichkeit einbeziehen. Ich kann die Maximierung herausarbeiten, die darin besteht, die partielle Ableitung zu nehmen und gleich Null zu sein. Könnten Sie bitte eine Antwort mit dem explizit ausgeschriebenen Wahrscheinlichkeitsausdruck geben? Dies wird wirklich helfen

SKM

3

Wenn wir das Ziel als Die Darstellung auf der Basis von EM ist für ein beliebiges aufgrund der Zerlegung oder was für einen beliebigen Wert von funktioniert (da es auf dem lhs keinen gibt ) und funktioniert daher auch für jede Erwartung in :

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$ für jede bedingte Verteilung von bei , zum Beispiel . Wenn wir also in mit Lösung haben wir während durch die Standardargumente von EM. Daher ist

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$ und die Verwendung des Ziels als E-Schritt führt zu einer Zunahme des posterioren bei jedem M. Schritt, was bedeutet, dass der modifizierte EM-Algorithmus zu einem lokalen MAP konvergiert.

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

Xi'an
quelle

Danke für Ihre Antwort. Stellt das PDF von ? Könnten Sie bitte erklären, warum es zwei Erwartungen gibt, wenn In der in der zweiten Zeile erwähnten Gleichung subtrahiert wird?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

SKM

Ich habe einige Erklärungen hinzugefügt, aber Sie sollten in einem Lehrbuch die Ableitung des EM-Algorithmus überprüfen, da dies Standardmaterial ist.

Xi'an

1

Ich denke nicht, dass eine monoton zunehmende logarithmisch-posteriore (oder logarithmische Wahrscheinlichkeit für MLE) ausreicht, um die Konvergenz zum stationären Punkt der MAP-Schätzung (oder MLE) zu zeigen. Beispielsweise können die Inkremente beliebig klein werden. In der berühmten Veröffentlichung von Wu 1983 ist eine ausreichende Bedingung für die Konvergenz zum stationären Punkt der EM die Differenzierbarkeit in beiden Argumenten der Funktion der unteren Grenze.

Jim.Z
quelle

Hilfe bei der Erwartungsmaximierung aus Papier: Wie kann die vorherige Verteilung einbezogen werden?

Antworten: