EM, gibt es eine intuitive Erklärung?

16

Das EM-Verfahren erscheint dem Uneingeweihten als mehr oder weniger schwarze Magie. Schätzen Sie die Parameter eines HMM (zum Beispiel) mit überwachten Daten. Dekodieren Sie dann nicht getaggte Daten, indem Sie Ereignisse vorwärts und rückwärts zählen, als ob die Daten mehr oder weniger getaggt wären. Warum macht dies das Modell besser? Ich weiß etwas über Mathematik, aber ich wünsche mir immer wieder ein Bild davon.

margulies
quelle
Ich bin mir nicht sicher, aber ich denke, es ist möglich, es als Optimierungsverfahren für den stokastischen Gradientenabstieg zu interpretieren. Ich werde darüber nachdenken ...
Robin Girard

Antworten:

12

Nur einige Tipparbeit zu sparen, rufen Sie die beobachteten Daten , die fehlenden Daten Z (zB die versteckten Zustände des HMM), und der Parametervektor versuchen wir finden Q (zB Übergang / Emissionswahrscheinlichkeiten).XZQ

Die intuitive Erklärung ist, dass wir im Grunde genommen betrügen und für einen Moment so tun, als ob wir kennen, damit wir eine bedingte Verteilung von Z finden können, mit der wir wiederum die MLE für Q finden können (wobei wir für den Moment die Tatsache ignorieren, dass wir im Grunde genommen ein Zirkular bilden Geben Sie dann zu, dass wir betrogen haben, setzen Sie unseren neuen, besseren Wert für Q ein und wiederholen Sie den Vorgang, bis wir nicht mehr betrügen müssen.QQQ

QZ|{X,Q}QQZ|{X,Q}Q

Zlog(f(Q|X,Z))ZQZXQ

QQnZ|{Qn,X}Q|{X,Z}Z|{Qn,X}ZQXQQZQQnQn+1Z|{Qn+1,X}

Reich
quelle