Berechnung der Log-Wahrscheinlichkeit für gegebene MLE (Markov-Ketten)

9

Ich arbeite derzeit mit Markov-Ketten und berechnete die Maximum-Likelihood-Schätzung unter Verwendung von Übergangswahrscheinlichkeiten, wie von mehreren Quellen vorgeschlagen (dh Anzahl der Übergänge von a nach b geteilt durch die Anzahl der Gesamtübergänge von a zu anderen Knoten).

Ich möchte jetzt die Log-Wahrscheinlichkeit der MLE berechnen.

Gesellschaft
quelle
Sie haben bereits die Maximum-Likelihood-Schätzung der Übergangswahrscheinlichkeiten berechnet und möchten nun die Log-Wahrscheinlichkeit von was genau berechnen?
Nick

Antworten:

11

Lassen ein Pfad der Markow - Kette und sei P θ ( X 1 , . . . , X T ) die Wahrscheinlichkeit , den Weg der Beobachtung , wenn θ der wahre Parameterwert (auch bekannt als der Likelihood - Funktion ist , für θ ). Unter Verwendung der Definition der bedingten Wahrscheinlichkeit wissen wir{X.ich}}ich=1T.P.θ(X.1,...,X.T.)θθ

P.θ(X.1,...,X.T.)=P.θ(X.T.|X.T.- -1,...,X.1)P.θ(X.1,...,X.T.- -1)

Da dies eine Markow - Kette ist, wissen wir , dass , so Dies vereinfacht diesP.θ(X.T.|X.T.- -1,...,X.1)=P.θ(X.T.|X.T.- -1)

P.θ(X.1,...,X.T.)=P.θ(X.T.|X.T.- -1)P.θ(X.1,...,X.T.- -1)

Wenn Sie nun dieselbe Logik mal wiederholen , erhalten SieT.

P.θ(X.1,...,X.T.)=ich=1T.P.θ(X.ich|X.ich- -1)

Dabei ist als Ausgangszustand des Prozesses zu interpretieren. Die Begriffe auf der rechten Seite sind nur Elemente der Übergangsmatrix. Da es sich um die von Ihnen angeforderte Protokollwahrscheinlichkeit handelte, lautet die endgültige Antwort:X.0

L.(θ)=ich=1T.Log(P.θ(X.ich|X.ich- -1))

Dies ist die Wahrscheinlichkeit einer einzelnen Markov-Kette. Wenn Ihr Datensatz mehrere (unabhängige) Markov-Ketten enthält, ist die volle Wahrscheinlichkeit eine Summe von Begriffen dieser Form.

Makro
quelle
Wow, vielen Dank für die Antwort. In diesem Fall ist ; die "Übergangs" -Wahrscheinlichkeit, die dem MLE entnommen wird, richtig? P.θ
Gesellschaft
@ph_singer, du bist sehr willkommen. ist die Wahrscheinlichkeit, sich vom Zustand X i - 1 nach X i zu bewegen , wenn der Parameterwert & thgr ; gegeben ist . Wenn Sie der Übergangsmatrix keine Struktur auferlegt haben (wie es sich anhört), bezeichnet θ nur den Vektor der Übergangswahrscheinlichkeiten (und die MLEs sind nur die Stichprobenanteile, wie Sie in Ihrer Fragestellung korrekt angegeben haben), also ja: P θ M L E ( X i |P.θ(X.ich|X.ich- -1)X.ich- -1X.ichθθ ist nur der Stichprobenanteil der Bewegungen aus dem Zustand X i - 1 , die im Zustand X i endeten. P.θ^M.L.E.(X.ich|X.ich- -1)X.ich- -1X.ich
Makro
Danke noch einmal! Nur noch eine Frage: Wenn ich eine andere Reihenfolge verwende (z. B. k = 2), wie würde dieser Prozess dann funktionieren?
Gesellschaft
Können Sie bitte klarstellen, was Sie unter "Bestellung" verstehen?
Makro
(+1) Das OP bedeutet wahrscheinlich , um einen MC zweiter Ordnung zu bezeichnen , dh abhängig von den beiden vorhergehenden Zuständen X i - 1 , X i - 2 und nicht nur den jüngsten X i - 1 . k=2X.ich- -1,X.ich- -2X.ich- -1
Kardinal