Unterschied zwischen MLE und Baum Welch bei der HMM-Anpassung

In dieser beliebten Frage trennen sich MLE und Baum Welch aufgrund der hoch bewerteten Antwort in der HMM-Anpassung.

Für Trainingsprobleme können wir die folgenden 3 Algorithmen verwenden: MLE (Maximum Likelihood Estimation), Viterbi-Training (NICHT mit Viterbi-Decodierung verwechseln), Baum Welch = Vorwärts-Rückwärts-Algorithmus

ABER in Wikipedia heißt es

Der Baum-Welch-Algorithmus verwendet den bekannten EM-Algorithmus, um die Maximum-Likelihood-Schätzung der Parameter zu ermitteln

Wie ist also die Beziehung zwischen MLE und dem Baum-Welch-Algorithmus?

Mein Versuch: Das Ziel des Baum-Welch-Algorithmus ist die Maximierung der Wahrscheinlichkeit, es wird jedoch ein spezialisierter Algorithmus (EM) verwendet, um die Optimierung zu lösen. Wir können die Wahrscheinlichkeit immer noch maximieren, indem wir andere Methoden verwenden, z. Aus diesem Grund trennen die Antworten zwei Algorithmen voneinander.

Habe ich recht und kann mir jemand bei der Klärung helfen?

Beziehen Sie sich auf eine der Antworten (von Masterfool) über den von Ihnen angegebenen Fragenlink.

Morats Antwort ist in einem Punkt falsch: Baum-Welch ist ein Expectation-Maximization-Algorithmus, mit dem die Parameter eines HMM trainiert werden. Es verwendet den Vorwärts-Rückwärts-Algorithmus während jeder Iteration. Der Vorwärts-Rückwärts-Algorithmus ist wirklich nur eine Kombination der Vorwärts- und Rückwärtsalgorithmen: ein Vorwärtsdurchlauf, ein Rückwärtsdurchlauf.

Und ich stimme der Antwort von PierreE hier zu: Der Baum-Welch-Algorithmus wird verwendet, um die maximale Wahrscheinlichkeit in HHM zu lösen. Wenn die Zustände bekannt sind (überwacht, markierte Sequenz), dann werden andere Verfahren maximiert MLE verwendet wird (vielleicht wie einfach die Frequenz jeder Emissions- und Übergang in den Trainingsdaten beobachtet zählen, siehe die Dias von Franck Dernoncourt zur Verfügung gestellt).

In der Einstellung von MLE für HMM können Sie meines Erachtens nicht nur den Gradientenabstieg verwenden, da die Wahrscheinlichkeit (oder die Log-Wahrscheinlichkeit) keine geschlossene Lösung hat und iterativ gelöst werden muss, wie im Fall von Mischungsmodelle also wenden wir uns an EM. (Weitere Einzelheiten finden Sie in Bishop, Mustererkennungsbuch, Kapitel 13.2.1, S. 614)

Wie ist also die Beziehung zwischen MLE und dem Baum-Welch-Algorithmus?

Der Expectation Maximization (EM) -Algorithmus ist allgemeiner und der Baum-Welch-Algorithmus ist lediglich eine Instanziierung davon, und EM ist ein iterativer Algorithmus für Maximum Likelihood (ML). Dann ist der Baum-Welch-Algorithmus auch ein iterativer Algorithmus für maximale Wahrscheinlichkeit.

Normalerweise gibt es drei Optimierungsalgorithmen für die Maximum-Likelihood-Schätzung (ein häufiger Ansatz): 1) Gradientenabstieg; 2) Markov-Kette Monte Carlo; 3) Erwartungsmaximierung.

Diese Frage ist seit einigen Monaten hier, aber diese Antwort könnte neuen Lesern als Ergänzung zu David Batistas Kommentar helfen.

Der Baulm-Welch-Algorithmus (BM) ist ein Algorithmus zur Erwartungsmaximierung zur Lösung der Maximum-Likelihood-Schätzung (MLE), um Ihr HMM zu trainieren, wenn die Zustände unbekannt / verborgen sind (unbeaufsichtigtes Training).

Wenn Sie die Zustände kennen, können Sie eine MLE-Methode (die nicht der BM ist) verwenden, um Ihr Modell überwacht an die Paardaten / -zustände anzupassen.