Frage zur Verwendung von EM zur Schätzung der Parameter dieses Modells

Ich versuche, EM zu verstehen und Parameter dieses Modells mit dieser Technik abzuleiten, habe aber Probleme zu verstehen, wie ich anfangen soll:

Ich habe also ein gewichtetes lineares Regressionsmodell wie folgt, wobei ich Beobachtungen und die entsprechenden Beobachtungen . Das Modell der Beziehung zwischen und ist ein gewichtetes lineares Regressionsmodell, und die Verteilungsannahmen lauten wie folgt: $X = (x_i, x_2....x_n)$ $Y = (y_1, y_2....y_n)$ $X$ $Y$

y_{i} \sim N (β^{T} x_{i}, \frac{σ^{2}}{w_{i}})

$y_i \sim \mathcal{N}(\beta^Tx_i, \frac{\sigma^2}{w_i})$

β \sim N (0, Σ_{β})

$\beta \sim \mathcal{N}(0, \Sigma_\beta)$

w_{i} \sim G (a, b)

$w_i \sim \mathcal{G}(a, b)$

Hier sind die Regressionsparameter und das Modell ermöglicht ungleiche Varianzen, indem die Antwortvariablen individuelle Gewichte für die Varianz haben. Mein Ziel ist es, die wahrscheinlichste lineare Beziehung zu finden, die durch die Parameter . $\beta$ $\beta$

Daher kann ich das Log-Posterior wie folgt schreiben:

\log P (Y, β, w | X) = \sum_{i = 1}^{n} (\log P (y_{i} | x_{i}, β, w_{i}) + \log P (w_{i})) + l o g P (β)

$\log P(Y, \beta, w|X) = \sum_{i=1}^n \big(\log P(y_i|x_i, \beta, w_i) + \log P(w_i)\big) + log P(\beta)$

Jetzt habe ich versucht, EM zu verstehen und bin mir nicht sicher, ob mein Verständnis noch vollständig ist. Um die Parameter abzuschätzen, gehe ich zunächst von der Erwartung der log-posterioren Verteilung in Bezug auf die latenten / versteckten Parameter, die in meinem Fall und . Dieser erforderliche erwartete Wert ist also: $\log P(Y, \beta, w|X)$ $\beta$ $w$

\int \int P (β, w | X) * \log P (Y, β, w | X) d w d β

$\int\int P(\beta, w | X) * \log P(Y, \beta, w | X) dw \;d\beta$

Ich habe jedoch keine Ahnung, wie ich von hier aus vorgehen soll, um diese Erwartung zu berechnen. Würde mich sehr über Vorschläge freuen, was der nächste Schritt sein sollte. Ich suche nicht jemanden, der mir alle notwendigen Dinge ableitet, sondern nur einen Anstoß in die richtige Richtung, was ich in den nächsten Schritten lösen soll.

bayesian expectation-maximization Luca
quelle

Sind Sie sicher, dass EM wie in Expectation-Maximization für Ihr Problem gilt?

Xi'an

Ich glaube schon. Ich versuche ein Papier zu verstehen und sie verwenden EM zur Lösung dieses gewichteten Bayes'schen linearen Regressionsproblems.

Luca

Die latenten Variablen können nicht und die . Wenn Sie an interessiert sind , sind die latenten Variablen vermutlich die . In diesem Fall müssen Sie die erwartete vollständige Log-Likelihood -Funktion des E-Schritts finden und in im M-Schritt optimieren .

β

$\beta$

w_{i}

$w_i$

β

$\beta$

w_{i}

$w_i$

Q (β | β_{0})

$Q(\beta|\beta_0)$

β

$\beta$

Xi'an

Vielen Dank für Ihren Kommentar. Wenn ich versuchen darf zu klären, erwähnt das Papier, dass wir daran interessiert sind, die unvollständige Log-Wahrscheinlichkeit maximieren, aber wir arbeiten mit der vollständigen Datenwahrscheinlichkeit, die gegeben ist durch: , was für mich wie die hintere Verteilung in diesem Setup aussah. Daher habe ich angenommen, dass in diesem Setup als versteckte Variable behandelt wird.

\log p (Y | X)

$\log p(Y|X)$

\log P (y, w, β | X)

$\log P(y, w, \beta|X)$

β

$\beta$

Luca

Wie viel wissen Sie bereits über den EM-Algorithmus? Welches Buch oder Papier hast du darüber studiert? In einem solchen Forum von vorne anzufangen, klingt nach einer schlechten Idee.

Xi'an

Antworten:

Lassen Sie mich zunächst an die Grundlagen des EM-Algorithmus erinnern. Bei der Suche nach der Maximum-Likelihood-Schätzung einer Wahrscheinlichkeit der Form fährt der Algorithmus fort, indem er iterativ (M) erwartete (E) vollständige Log-Wahrscheinlichkeiten maximiert, die bei der Maximierung der Ergebnisse (in ) bei Iteration die Funktion Der Algorithmus muss daher zunächst die latente Variable und ihre bedingte Verteilung identifizieren .

\int f (x, z | β) d z,

$\int f(x,z|\beta)\text{d}z,$

β

$\beta$

t

$t$

Q (β | β_{i}) = \int \log f (x, z | β) f (z | x, β_{t}) d z

$Q(\beta|\beta_i)=\int \log f(x,z|\beta) f(z|x,\beta_t)\text{d}z$

z

$z$

In Ihrem Fall scheint die latente Variable aus den , während der interessierende Parameter . Wenn Sie sowohl als auch als latente Variablen verarbeiten, müssen keine Parameter mehr optimiert werden. Dies bedeutet jedoch auch, dass der Prior on nicht verwendet wird. $\varpi$ $w_i$ $\beta$ $\beta$ $\varpi$ $\beta$

Wenn wir den Fall von genauer , ist seine bedingte Verteilung gegeben durch das als 1/2 Verteilung. $w_i$

f (w_{i} | x_{i}, y_{i}, β) \propto \sqrt{w_{i}} \exp {- w_{i} (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2}} \times w_{i}^{a - 1} \exp {- b w_{i}}

$f(w_i|x_i,y_i,\beta)\propto\sqrt{w_i}\exp\left\{-w_i(y_i-\beta^Tx_i)^2/2\sigma^2\right\}\times w_i^{a-1}\exp\{-bw_i\}$

G (a + 1 / 2, b + (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2})

$\mathcal{G}\left(a+1/2,b+(y_i-\beta^Tx_i)^2/2\sigma^2\right)$

Die abgeschlossene Log-Wahrscheinlichkeit ist der Teil, der davon abhängt on vereinfacht sich als und die Funktion ist proportional zu Maximieren dieser Funktion in entspricht einer gewichteten linearen Regression mit Gewichten

\sum_{i} \frac{1}{2} {\log (w_{i}) - w_{i} (y_{i} - β^{T} x_{i})^{2} / σ^{2}}

$\sum_i \frac{1}{2}\left\{\log(w_i)- w_i(y_i-\beta^Tx_i)^2/\sigma^2\right\}$

β

$\beta$

- \sum_{i} w_{i} (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2}

$-\sum_iw_i(y_i-\beta^Tx_i)^2/2\sigma^2$

- Q (β | β_{t})

$-Q(\beta|\beta_t)$

\begin{aligned} E [\sum_{i} w_{i} (y_{i} - β^{T} x_{i})^{2} | X, Y, β_{t}] & = \sum_{i} E [w_{i} | X, Y, β_{t}] (y_{i} - β^{T} x_{i})^{2} \\ = \sum_{i} \frac{a + 1 / 2}{b + (y_{i} - β_{t}^{T} x_{i})^{2} / 2 σ^{2}} (y_{i} - β^{T} x_{i})^{2} \end{aligned}

$\begin{align*}\mathbb{E}\left[\sum_iw_i(y_i-\beta^Tx_i)^2\Big|X,Y,\beta_t\right]&=\sum_i\mathbb{E}[w_i|X,Y,\beta_t](y_i-\beta^Tx_i)^2\\&=\sum_i\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}(y_i-\beta^Tx_i)^2\end{align*}$

β

$\beta$

\frac{a + 1 / 2}{b + (y_{i} - β_{t}^{T} x_{i})^{2} / 2 σ^{2}}

$\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}$

Xi'an
quelle

Vielen Dank dafür und ich werde dies rigoros durchgehen. Diese Arbeit, die ich mir anschaue, behandelt als versteckte Variable. Sie erwähnen, dass sie die Erwartung mit der ungefähren Form des hinteren annehmen, die sich als . Also dieses bisschen hat mich wirklich verwirrt ...

β

$\beta$

Q (β, w)

$Q(\beta, w)$

Q (w) Q (β)

$Q(w)Q(\beta)$

Luca

Wenn Sie sowohl als auch als latente Variablen behandeln, ist kein Parameter mehr vorhanden ...

β

$\beta$

w

$w$

Xi'an

Vielleicht haben sie eine MAP-Schätzung anstelle einer ML-Schätzung. Wenn ich versuche, dies als MAP-Schätzung neu zu formulieren, schätze ich, dass die vorherige Verteilung von ins Spiel kommen würde?

β

$\beta$

Luca

Eine sehr schnelle Sache ... Ich bin nicht sicher, ob Sie dies sehen, aber wenn Sie die Gleichung für die vollständige Log-Wahrscheinlichkeit haben, ist der erste Term nicht ? Ich vermute auch, dass der von Ihnen gezeigte Begriff die Log-Wahrscheinlichkeit ist, die proportional zu einer Konstanten ist. Ich bin immer verwirrt, wenn Dinge in Konstanten aufgerollt werden.

l o g (\sqrt{w_{i}})

$log(\sqrt{w_i})$

Luca

Korrektur vorgenommen: Ich setze vor den gesamten Ausdruck.

1 / 2

$1/2$

Xi'an