Ein Optimierungsalgorithmus, der häufig für die Maximum-Likelihood-Schätzung bei fehlenden Daten verwendet wird.
Ich versuche, einen guten Überblick über den EM-Algorithmus zu bekommen, um ihn implementieren und verwenden zu können. Ich verbrachte einen ganzen Tag damit, die Theorie und ein Papier zu lesen, in dem EM verwendet wird, um ein Flugzeug unter Verwendung der Positionsinformationen, die von einem...
Ich habe Algorithmen zum Clustering von Daten (unbeaufsichtigtes Lernen) untersucht: EM und k-means. Ich lese ständig Folgendes: k-means ist eine Variante von EM mit der Annahme, dass Cluster sphärisch sind. Kann jemand den obigen Satz erklären? Ich verstehe nicht, was sphärisch bedeutet und wie...
Was ist der Unterschied zwischen den Algorithmen EM (Expectation Maximization) und Gradient Ascent (oder Descent)? Gibt es eine Bedingung, unter der sie gleichwertig
Ich habe irgendwo gelesen, dass die Variational Bayes-Methode eine Verallgemeinerung des EM-Algorithmus ist. In der Tat sind die iterativen Teile der Algorithmen sehr ähnlich. Um zu testen, ob der EM-Algorithmus eine spezielle Version der Variational Bayes ist, habe ich Folgendes versucht: Y.Y.Y...
Hinweis: Ich stelle eine Frage eines ehemaligen Studenten, der aus technischen Gründen nicht in der Lage ist, selbst zu posten. Ausgehend von einer iid-Stichprobe x1, … , Xnx1,…,xnx_1,\ldots,x_n aus einer Weibull-Verteilung mit pdf fk( X ) = k xk - 1e- xkx > 0fk(x)=kxk-1e-xkx>0 f_k(x) = k...
Ich habe einige Erklärungen zum EM-Algorithmus gelesen (z. B. aus Bishops Mustererkennung und maschinellem Lernen sowie aus dem ersten Kurs von Roger und Gerolami über maschinelles Lernen). Die Ableitung von EM ist in Ordnung, ich verstehe es. Ich verstehe auch, warum der Algorithmus etwas...
Nach dem, was ich noch nicht weiß, kann der EM-Algorithmus verwendet werden, um die maximale Wahrscheinlichkeit zu ermitteln, wenn die partiellen Ableitungen in Bezug auf die Parameter der Wahrscheinlichkeit auf Null gesetzt werden. Dies ergibt einen Satz von Gleichungen, die nicht analytisch...
Nach der Durchführung der Hauptkomponentenanalyse (PCA) möchte ich einen neuen Vektor auf den PCA-Raum projizieren (dh seine Koordinaten im PCA-Koordinatensystem finden). Ich habe PCA in R-Sprache mit berechnet prcomp. Jetzt sollte ich meinen Vektor mit der PCA-Rotationsmatrix multiplizieren...
Diese Frage wurde von Mathematics Stack Exchange migriert, da sie auf Cross Validated beantwortet werden kann. Vor 6 Jahren migriert . Im EM-Algorithmus-Ansatz verwenden wir Jensens Ungleichung, um zuLogp ( x | θ ) ≥ ∫Logp ( z, x | θ ) p ( z| x, θ( k )) dz- ∫Logp ( z|...
Ich möchte den EM-Algorithmus manuell implementieren und ihn dann mit den Ergebnissen des normalmixEMof- mixtoolsPakets vergleichen. Natürlich würde ich mich freuen, wenn beide zu den gleichen Ergebnissen führen würden. Die Hauptreferenz ist Geoffrey McLachlan (2000), Finite Mixture Models . Ich...
Betrachten Sie die logarithmische Wahrscheinlichkeit einer Mischung von Gaußschen: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i...
Das EM-Verfahren erscheint dem Uneingeweihten als mehr oder weniger schwarze Magie. Schätzen Sie die Parameter eines HMM (zum Beispiel) mit überwachten Daten. Dekodieren Sie dann nicht getaggte Daten, indem Sie Ereignisse vorwärts und rückwärts zählen, als ob die Daten mehr oder weniger getaggt...
Ich versuche zu lernen, wie man zufällige Markov-Felder verwendet, um Regionen in einem Bild zu segmentieren. Ich verstehe einige der Parameter in der MRF nicht oder weiß nicht, warum die von mir durchgeführte Erwartungsmaximierung manchmal nicht zu einer Lösung konvergiert. Ausgehend von Bayes...
Es gibt viele Literaturstellen, in denen die Expectation Maximization-Methode für Mischmodelle (Mischung aus Gauß-Modell, Hidden-Markov-Modell usw.) im Vordergrund steht. Warum ist EM wichtig? EM ist nur eine Möglichkeit zur Optimierung und wird nicht häufig als gradientenbasierte Methode...
Ich weiß, dass k-means normalerweise mit Expectation Maximization optimiert wird . Wir könnten jedoch die Verlustfunktion genauso optimieren wie alle anderen! Ich habe einige Artikel gefunden, die tatsächlich eine stochastische Gradientenabnahme für großräumige k-Mittelwerte verwenden, aber ich...
Gibt es schnelle Alternativen zum EM-Algorithmus zum Lernen von Modellen mit latenten Variablen (insbesondere pLSA)? Ich finde es in Ordnung, die Präzision zugunsten der Geschwindigkeit zu
Angenommen, ich habe eine Bevölkerung von 50 Millionen Unikaten, und ich nehme 10 Millionen Proben (mit Ersatz) ... Die erste Grafik, die ich beigefügt habe, zeigt, wie oft ich das gleiche "Ding" probiere, was relativ selten ist wie die Bevölkerung ist größer als meine Stichprobe. Wenn meine...
Ich versuche, zwei Wertegruppen von einem einzigen Datensatz zu trennen. Ich kann davon ausgehen, dass eine der Populationen normal verteilt ist und mindestens halb so groß wie die Stichprobe ist. Die Werte der zweiten sind beide niedriger oder höher als die Werte der ersten (Verteilung ist...
Ich habe einige einfache konzeptionelle Fragen, die ich in Bezug auf MLE (Maximum Likelihood Estimation) klären möchte, und welchen Zusammenhang es gegebenenfalls mit EM (Expectation Maximization) hat. Wenn jemand sagt, "Wir haben die MLE verwendet", bedeutet dies nach meinem Verständnis dann...
Was sind die Vorteile der Angabe bestimmter Anfangswerte für Übergangswahrscheinlichkeiten in einem Hidden-Markov-Modell? Irgendwann wird das System sie lernen. Was bringt es also, andere als zufällige Werte anzugeben? Macht der zugrunde liegende Algorithmus einen Unterschied wie Baum-Welch? Was...