Berechnung der Log-Wahrscheinlichkeit für gegebene MLE (Markov-Ketten)

Lassen ein Pfad der Markow - Kette und sei die Wahrscheinlichkeit , den Weg der Beobachtung , wenn der wahre Parameterwert (auch bekannt als der Likelihood - Funktion ist , für ). Unter Verwendung der Definition der bedingten Wahrscheinlichkeit wissen wir $\{ X_i \}_{i=1}^{T}$ $P_{\theta}(X_1, ..., X_T)$ $\theta$ $\theta$

{P.}_{θ} ({X.}_{1}, . . ., {X.}_{T.}) = {P.}_{θ} ({X.}_{T.} | {X.}_{T. - - 1}, . . ., {X.}_{1}) \cdot {P.}_{θ} ({X.}_{1}, . . ., {X.}_{T. - - 1})

$P_{\theta}(X_1, ..., X_T) = P_{\theta}(X_T | X_{T-1}, ..., X_1) \cdot P_{\theta}(X_1, ..., X_{T-1})$

Da dies eine Markow - Kette ist, wissen wir , dass , so Dies vereinfacht dies $P_{\theta}(X_T | X_{T-1}, ..., X_1) = P_{\theta}(X_T | X_{T-1} )$

{P.}_{θ} ({X.}_{1}, . . ., {X.}_{T.}) = {P.}_{θ} ({X.}_{T.} | {X.}_{T. - - 1}) \cdot {P.}_{θ} ({X.}_{1}, . . ., {X.}_{T. - - 1})

$P_{\theta}(X_1, ..., X_T) = P_{\theta}(X_T | X_{T-1}) \cdot P_{\theta}(X_1, ..., X_{T-1})$

Wenn Sie nun dieselbe Logik mal wiederholen , erhalten Sie $T$

{P.}_{θ} ({X.}_{1}, . . ., {X.}_{T.}) = \prod_{ich = 1}^{T.} {P.}_{θ} ({X.}_{ich} | {X.}_{ich - - 1})

$P_{\theta}(X_1, ..., X_T) = \prod_{i=1}^{T} P_{\theta}(X_i | X_{i-1} )$

Dabei ist als Ausgangszustand des Prozesses zu interpretieren. Die Begriffe auf der rechten Seite sind nur Elemente der Übergangsmatrix. Da es sich um die von Ihnen angeforderte Protokollwahrscheinlichkeit handelte, lautet die endgültige Antwort: $X_0$

L. (θ) = \sum_{ich = 1}^{T.} Log ({P.}_{θ} ({X.}_{ich} | {X.}_{ich - - 1}))

${\bf L}(\theta) = \sum_{i=1}^{T} \log \Big( P_{\theta}(X_i | X_{i-1} ) \Big)$

Dies ist die Wahrscheinlichkeit einer einzelnen Markov-Kette. Wenn Ihr Datensatz mehrere (unabhängige) Markov-Ketten enthält, ist die volle Wahrscheinlichkeit eine Summe von Begriffen dieser Form.

Makro
quelle

Wow, vielen Dank für die Antwort. In diesem Fall ist

; die "Übergangs" -Wahrscheinlichkeit, die dem MLE entnommen wird, richtig?

P_{θ}

$P_{\theta}$

Gesellschaft

@ph_singer, du bist sehr willkommen.

ist die Wahrscheinlichkeit, sich vom Zustand

nach

bewegen , wenn der Parameterwert

; gegeben ist . Wenn Sie der Übergangsmatrix keine Struktur auferlegt haben (wie es sich anhört), bezeichnet

nur den Vektor der Übergangswahrscheinlichkeiten (und die MLEs sind nur die Stichprobenanteile, wie Sie in Ihrer Fragestellung korrekt angegeben haben), also ja:

P_{θ} (X_{i} | X_{i - 1})

$P_{\theta}(X_i|X_{i-1})$

X_{i - 1}

$X_{i-1}$

X_{i}

$X_i$

θ

$\theta$

θ

$\theta$

ist nur der Stichprobenanteil der Bewegungen aus dem Zustand

, die im Zustand

endeten.

P_{{\hat{θ}}_{M L E}} (X_{i} | X_{i - 1})

$P_{\hat{\theta}_{{\rm MLE}}}(X_i|X_{i-1})$

X_{i - 1}

$X_{i-1}$

X_{i}

$X_{i}$

Makro

Danke noch einmal! Nur noch eine Frage: Wenn ich eine andere Reihenfolge verwende (z. B. k = 2), wie würde dieser Prozess dann funktionieren?

Gesellschaft

Können Sie bitte klarstellen, was Sie unter "Bestellung" verstehen?

Makro

(+1) Das OP bedeutet wahrscheinlich

, um einen MC zweiter Ordnung zu bezeichnen , dh abhängig von den beiden vorhergehenden Zuständen

und nicht nur den jüngsten

k = 2

$k=2$

X_{i - 1}, X_{i - 2}

$X_{i-1},X_{i-2}$

X_{i - 1}

$X_{i-1}$

Kardinal

Berechnung der Log-Wahrscheinlichkeit für gegebene MLE (Markov-Ketten)

Antworten: