Markov-Modelle mit bedingten Übergangswahrscheinlichkeiten

10

Lassen Sie mich zunächst einmal anerkennen, dass ich mich in Statistik und Mathematik nicht so gut auskenne, wie ich es gerne wäre. Einige könnten sagen, dass sie gerade genug Wissen haben, um gefährlich zu sein. : DI entschuldige mich, wenn ich die Terminologie nicht richtig verwende.

Ich versuche, die Wahrscheinlichkeiten eines Systems zu modellieren, das von einem Zustand in einen anderen übergeht. Ein einfaches Markov-Modell ist ein guter Anfang. (Satz von Zuständen, Satz von Anfangszustandswahrscheinlichkeiten, Satz von Übergangswahrscheinlichkeiten zwischen Zuständen.)

Das System, das ich modelliere, ist jedoch komplexer. Die Übergangswahrscheinlichkeiten, die zu einem Zustand zum Zeitpunkt T führen, hängen mit Sicherheit von anderen Variablen als dem Zustand zu T-1 ab. Zum Beispiel könnte S1 -> S2 eine Übergangswahrscheinlichkeit von 40% haben, wenn die Sonne scheint, aber die Wahrscheinlichkeit von S1 -> S2 geht auf 80%, wenn es regnet.

Zusätzliche Informationen aus den Fragen der Kommentatoren:

  1. Die Zustände sind beobachtbar.
  2. Es wird nur 5-10 Staaten geben.
  3. Derzeit möchten wir etwa 30 Kovariaten untersuchen, obwohl das endgültige Modell sicherlich weniger haben wird.
  4. Einige Kovariaten sind kontinuierlich, andere sind diskret.

Drei Fragen:

  1. Wie kann ich bedingte Übergangswahrscheinlichkeiten in mein Markov-Modell integrieren?
  2. Oder gibt es eine andere Perspektive, aus der ich mich diesem Thema nähern sollte?
  3. Nach welchen Schlüsselwörtern / Konzepten sollte ich online suchen, um mehr darüber zu erfahren?

Ich war bereits im Internet und habe nach Dingen wie "Markov-Modellen mit bedingten Übergangswahrscheinlichkeiten" gesucht, aber bisher hat mich nichts ins Gesicht geschlagen und gesagt: "Dies ist Ihre Antwort, Dummy!"

Vielen Dank für Ihre Hilfe und Geduld.

Aaron Johnson
quelle
Willkommen auf der Website. Wie groß ist der Staatsraum? Beobachten Sie den Zustand, in dem sich Ihr Prozess bei jedem Schritt befindet? Wie viele Kovariaten (zusätzliche Prädiktoren) haben Sie? Sind sie kontinuierlich, diskret oder vielleicht eine Mischung aus beiden?
Kardinal
Danke, Kardinal. Ja, die Zustände sind beobachtbar. Es wird wahrscheinlich 5 bis 10 Staaten geben. (Es ist immer noch ungewiss, aber ich erwarte keinen sehr großen Zustandsraum.) Derzeit haben wir eine Liste von etwa 30 zusätzlichen Kovariaten, die wir untersuchen wollen, obwohl die meisten von ihnen wahrscheinlich nur geringe Auswirkungen haben werden. Einige sind kontinuierlich und andere diskret.
Aaron Johnson

Antworten:

5

Sie können immer eine Markov-Kette 2. oder höherer Ordnung haben. In diesem Fall enthält Ihr Modell alle probabilistischen Übergangsinformationen. Sie können Dynamic Bayesian Networks überprüfen, eine grafische Modellverallgemeinerung von Markov-Ketten, die häufig beim maschinellen Lernen verwendet werden.

YBE
quelle
YBE, Danke für die schnelle Antwort! Erlaubt mir dies (Modellierung des Systems als Kette 2. Ordnung oder höher), kontinuierliche Kovariaten oder nur diskrete Kovariaten zu modellieren? Und können Sie mich auf einen Link verweisen, der ein gutes Beispiel dafür gibt, wovon Sie sprechen? Vielen Dank!
Aaron Johnson
Es gibt ein Papier, das Sie überprüfen können. Es beginnt zuerst mit der Beschreibung von Ketten 1. Ordnung und beschreibt dann die Situation für Ketten höherer Ordnung. (Multivariate Markov-Ketten höherer Ordnung und ihre Anwendungen von Ching, Ng, Fung) Wenn Sie sich für maschinelles Lernen interessieren, empfehle ich Ihnen, die Website von Kevin Murphy zu besuchen. Er hat auch eine MATLAB-Toolbox, mit der Sie spielen können.
YBE
+1 auf Ihre Antwort für den Verweis auf das Papier Ching, Ng und Fung. Das ist gut zu haben. Nach dem Lesen scheint es jedoch, dass es nur diskrete Variablen abdeckt (was ich erwartet habe). Obwohl ich meine kontinuierlichen Variablen diskretisieren kann, bin ich immer noch neugierig - Gibt es Modelle, die mit dem rohen kontinuierlichen umgehen können? Variablen?
Aaron Johnson
Ich bin kein Experte, aber ich denke, die Ergebnisse sollten für einen kontinuierlichen Fall im Allgemeinen gelten. Der Kalman-Filter läuft beispielsweise auf einem HMM (Markov-Kette 1. Ordnung) mit kontinuierlichen Zuständen.
YBE
Ich habe Ihre Antwort nicht sofort ausgewählt, weil ich auf weitere Kandidaten gewartet habe. Sie kamen nie und ich vergaß es. Zwei Jahre später belohne ich Sie jetzt, indem ich Ihre Antwort akzeptiere. Danke für die Information! Übrigens, sind Sie in den letzten zwei Jahren auf etwas anderes zu diesem Thema gestoßen? Es ist immer noch etwas, das mich interessiert
Aaron Johnson,
0

Ich habe mir die gleiche Frage gestellt, und wenn Sie das Ergebnis wirklich nur auf der Grundlage des Zustands bei und der Kovariaten modellieren müssen , ist das msm-Paket in R möglicherweise hilfreich.T1

Dieses Paket scheint ziemlich gut geeignet zu sein, um die Auswirkungen von Kovariaten auf Übergänge zwischen kategorialen Ergebnissen im Zeitverlauf zu modellieren. Es würde nicht helfen, wenn Sie wirklich eine Kette höherer Ordnung benötigen, aber es scheint nicht so, als ob dies aufgrund Ihrer ursprünglichen Frage der Fall wäre.

Eric Czech
quelle