Ich implementiere eine Vanille-Variationsmischung aus multivariaten Gaußschen gemäß Kapitel 10 von Mustererkennung und maschinelles Lernen (Bishop, 2007).
Der Bayes'sche Ansatz erfordert die Angabe von (Hyper-) Parametern für den Gauß'schen inversen Wishart vor:
- (Konzentrationsparameter des Dirichlet-Prior);
- (Freiheitsgrade einer inversen Wishart-Verteilung);
- (Pseudobeobachtungen für die Gauß-inverse Wishart-Verteilung);
- (Mittelwert der Gaußschen Verteilung).
- (Skalenmatrix für den inversen Wishart).
Übliche Auswahlmöglichkeiten sind , , , , , wobei ist die Dimensionalität des Raumes.
Es ist nicht überraschend, dass der Posterior stark von der Wahl der Parameter abhängen kann (insbesondere finde ich, dass einen großen Einfluss auf die Anzahl der Komponenten hat, viel mehr als ). Für und sind die obigen Auswahlmöglichkeiten nur dann sinnvoll, wenn die Daten etwas normalisiert wurden.
Nach einer Art empirischem Bayes-Ansatz dachte ich daran, und gleich dem empirischen Mittelwert und der empirischen Kovarianzmatrix der Daten zu setzen (für letztere könnte ich Vielleicht nur die Diagonale berücksichtigen, außerdem muss ich die Kovarianzmatrix der Stichprobe mit ) . Wäre das sinnvoll? Irgendwelche Vorschläge zu anderen vernünftigen Methoden zum Einstellen der Parameter? (ohne vollständig hierarchische Bayes und DPGMM zu gehen)
(Es gibt eine ähnliche Frage hier , aber keine Antwort , die auf meine Frage relevant ist.)
Wenn Sie an Leistung über Eleganz interessiert sind, können Sie ein empirisches Maß für die Anpassungsgüte definieren und eine Hyperparametersuche durchführen , um diese zu maximieren.
quelle