Unterschied zwischen Hidden Markov-Modellen und Partikelfilter (und Kalman-Filter)

21

Hier ist meine alte Frage

Ich möchte fragen, ob jemand den Unterschied (falls vorhanden) zwischen Hidden Markov-Modellen (HMM) und Partikelfilter (PF) und folglich Kalman-Filter kennt oder unter welchen Umständen wir welchen Algorithmus verwenden. Ich bin Student und muss ein Projekt machen, aber zuerst muss ich einige Dinge verstehen.

Entsprechend der Bibliographie sind beide State Space Models , einschließlich versteckter (oder latenter oder nicht beobachteter) Zustände. Laut Wikipedia (Hidden_Markov_model)In HMM ist der Zustandsraum der verborgenen Variablen diskret, während die Beobachtungen selbst entweder diskret (typischerweise aus einer kategorialen Verteilung erzeugt) oder kontinuierlich (typischerweise aus einer Gaußschen Verteilung) sein können. Versteckte Markov-Modelle können auch verallgemeinert werden, um kontinuierliche Zustandsräume zu ermöglichen. Beispiele für solche Modelle sind solche, bei denen der Markov-Prozess über verborgenen Variablen ein lineares dynamisches System mit einer linearen Beziehung zwischen verwandten Variablen ist und bei denen alle verborgenen und beobachteten Variablen einer Gaußschen Verteilung folgen. In einfachen Fällen, wie dem gerade erwähnten linearen dynamischen System, ist eine genaue Inferenz nachvollziehbar (in diesem Fall unter Verwendung des Kalman-Filters). Im Allgemeinen ist jedoch eine genaue Inferenz in HMMs mit kontinuierlichen latenten Variablen nicht möglich, und es müssen ungefähre Methoden angewendet werden."

Aber für mich ist das ein bisschen verwirrend… In einfachen Worten bedeutet das Folgendes (basierend auch auf mehr Nachforschungen, die ich gemacht habe):

  • In HMM kann der Zustandsraum entweder diskret oder kontinuierlich sein . Auch die Beobachtungen selbst können entweder diskret oder kontinuierlich sein . Auch HMM ist ein lineares und Gaußsches oder nicht-Gaußsches dynamisches System.
  • In PF kann der Zustandsraum entweder diskret oder kontinuierlich sein . Auch die Beobachtungen selbst können entweder diskret oder kontinuierlich sein . Aber PF ist ein nichtlineares (und nicht Gaußsches?) Dynamisches System (ist das ihr Unterschied?).
  • Kalman-Filter (sieht für mich genauso aus wie HMM) wird verwendet, wenn wir ein lineares und ein Gaußsches dynamisches System haben.

Außerdem, woher weiß ich, welchen Algorithmus ich wählen soll, weil mir alle diese Algorithmen gleich erscheinen ... Außerdem habe ich eine Arbeit (nicht auf Englisch) gefunden, die besagt, dass PF zwar lineare Daten enthalten kann (zum Beispiel Rohdaten von einem Sensor-Kinect das eine Bewegung erkennt), kann das dynamische System nichtlinear sein. Kann das passieren? Ist das richtig? Wie?

Für die Gestenerkennung können Forscher entweder HMM oder PF verwenden, aber sie erklären nicht, warum sie die einzelnen Algorithmen auswählen. Weiß jemand, wie mir geholfen werden kann, diese Algorithmen zu unterscheiden, ihre Unterschiede zu verstehen und den besten Algorithmus auszuwählen?

Es tut mir leid, wenn meine Frage zu groß ist oder einige Teile naiv sind, aber ich habe keine überzeugende und wissenschaftliche Antwort gefunden. Vielen Dank im Voraus für Ihre Zeit!

Hier ist meine NEUE Frage (laut Hilfe von @ conjugateprior)

Deshalb möchte ich bei weiterer Lektüre einige meiner Teile meines vorherigen Kommentars aktualisieren und sicherstellen, dass ich ein bisschen mehr verstehe, was los ist.

  • Wiederum in einfachen Worten handelt es sich bei dem Schirm um dynamische Bayes-Netzwerke, in denen die Modelle von HMM und State Space enthalten sind (Unterklassen) ( http://mlg.eng.cam.ac.uk/zoubin/papers/ijprai.pdf ).
  • Darüber hinaus besteht der anfängliche Unterschied zwischen den beiden Modellen darin, dass in HMM die versteckten Zustandsvariablen diskret sind , während die Beobachtungen entweder diskret oder kontinuierlich sein können . In PF sind die versteckten Zustandsvariablen stetig (realer versteckter Zustandsvektor) und die Beobachtungen haben Gaußsche Verteilungen .
  • Laut @conjugateprior hat jedes Modell die 3 folgenden Aufgaben: Filtern, Glätten und Vorhersage. Beim Filtern verwendet das Modell-HMM für diskrete versteckte Zustandsvariablen die Methode Weiterleitungsalgorithmus, den Zustandsraum für kontinuierliche Variablen und das lineare dynamische System den Kalman-Filter usw.
  • HMM kann jedoch auch verallgemeinert werden, um kontinuierliche Zustandsräume zu ermöglichen .
  • Mit diesen Erweiterungen von HMM scheinen die beiden Modelle konzeptionell identisch zu sein (wie es auch in Hidden Markov Model vs. Markov Transition Model vs. State-Space Model ...? Erwähnt wird ).

Ich denke, dass ich die Terminologie etwas genauer verwende, aber trotzdem ist mir alles verschwommen. Kann mir jemand erklären, was der Unterschied zwischen HMM- und State-Space-Modell ist ?

Weil ich wirklich keine Antwort finden kann, die meinen Bedürfnissen entspricht.

Danke nochmal!

user5584748
quelle
1
Wenn Ihre Schulbibliothek dieses Buch hat: crcpress.com/Time-Series-Modeling-Computation-and-Inference/… Ich würde es mir ansehen. Es ist eine gute Aufgabe, alle drei Themen zu erklären, die, wie ich erwähnen möchte, drei sehr unterschiedliche Themen sind.
Ich habe gerade überprüft, dass die Bibliothek dieses Buch leider nicht hat. Wenn Sie mir also die Teile schicken könnten, von denen Sie glauben, dass sie meine Frage beantworten oder mir helfen, diese Themen auch zu unterscheiden, wäre das großartig! :)
user5584748

Antworten:

15

Es ist hilfreich, das Modell von den Schlussfolgerungen zu unterscheiden, die Sie damit erstellen möchten, da jetzt die Standardterminologie beide Begriffe kombiniert.

Das Modell ist der Teil, in dem Sie die Art von: dem verborgenen Raum (diskret oder kontinuierlich), der Dynamik des verborgenen Zustands (linear oder nicht linear), der Art der Beobachtungen (in der Regel bedingt multinomial oder normal) und der Verbindung des Messmodells angeben der verborgene Zustand zu den Beobachtungen. HMMs und Zustandsraummodelle sind zwei solche Sätze von Modellspezifikationen.

tt

In Situationen, in denen der Zustand kontinuierlich ist, die Zustandsdynamik und -messung linear ist und das gesamte Rauschen normal ist, erledigt ein Kalman-Filter diese Aufgabe effizient. Sein Analogon, wenn der Zustand diskret ist, ist der Vorwärtsalgorithmus. In dem Fall, dass es eine Nicht-Normalität und / oder Nicht-Linearität gibt, greifen wir auf ungefähre Filter zurück. Es gibt deterministische Näherungen, z. B. ein erweitertes oder ein unscentiertes Kalman-Filter, und es gibt stochastische Näherungen, von denen die bekanntesten das Partikelfilter sind.

Das allgemeine Gefühl scheint zu sein, dass man bei unvermeidbarer Nichtlinearität im Zustand oder bei Maßteilen oder Nichtnormalität in den Beobachtungen (den üblichen Problemsituationen) versucht, mit der möglichst billigen Annäherung davonzukommen. Also, EKF dann UKF dann PF.

In der Literatur zum Unscented-Kalman-Filter werden in der Regel einige Situationen verglichen, in denen er möglicherweise besser funktioniert als die herkömmliche Linearisierung des Extended-Kalman-Filters.

Der Partikelfilter hat eine fast vollständige Allgemeingültigkeit - jede Nichtlinearität, jede Verteilung -, aber er erfordert meiner Erfahrung nach eine sehr sorgfältige Abstimmung und ist im Allgemeinen viel unhandlicher als die anderen. In vielen Situationen ist dies jedoch die einzige Option.

Zur weiteren Lektüre: Ich mag Kapitel 4-7 von Särkkä's Bayesian Filtering and Smoothing, obwohl es ziemlich knapp ist. Der Autor stellt eine Online-Kopie für den persönlichen Gebrauch zur Verfügung. Andernfalls decken die meisten Bücher zu State Space-Zeitreihen dieses Material ab. Für die Partikelfilterung gibt es ein Doucet et al. Band zum Thema, aber ich denke, es ist schon ziemlich alt. Vielleicht weisen andere auf eine neuere Referenz hin.

Conjugateprior
quelle
Zunächst einmal vielen Dank für Ihre Antwort. Bitte überprüfen Sie, ob ich die obige Frage bearbeitet habe, um die Terminologie kohärenter und genauer zu gestalten. Ich formuliere auch meine ganze Frage neu.
user5584748
In Ihrem Rewrite ist es nicht ganz richtig, dass "In PF die versteckten Zustandsvariablen stetig sind (realer versteckter Zustandsvektor) und die Beobachtungen Gauß-Verteilungen haben." PF ist ein Filter. Das Modell, für das es sich um einen Filter handelt, muss einen kontinuierlichen Zustandsraum haben (mit einer Markovschen Struktur oder einer anderen), ist jedoch ansonsten nicht eingeschränkt: beliebige Verteilungen, beliebige Dynamiken und beliebige Messvorgänge.
Conjugateprior
Sie können beispielsweise einen PF verwenden, um ein gewöhnliches lineares Gaußsches Zustandsraummodell zu filtern. Es würde gut funktionieren. Das müssen Sie einfach nicht, da der Kalman-Filter genau ist.
Conjugateprior
4
"Was ist der Unterschied zwischen HMM und State Space-Modell?" Grundsätzlich gilt: Gemäß Konvention haben HMMs einen diskreten Zustand. Auch per Konvention bezeichnen "Zustandsraummodelle" Dinge mit kontinuierlichem Zustand.
Conjugateprior
Ich danke dir sehr! Dieser Unterschied ist also konventionell (und laut Bibliographie). Im Allgemeinen können wir jedoch jedes gewünschte Modell auswählen. Ist das korrekt? Welches Modell ich wählen werde, hängt davon ab, ob ich bessere Ergebnisse erzielen werde?
User5584748