Gibt es einen Bayes'schen Ansatz zur Dichteschätzung?

22

Ich bin daran interessiert, die Dichte einer stetigen Zufallsvariablen abzuschätzen . Eine Möglichkeit, dies zu tun, ist die Verwendung der Kernel-Dichteschätzung.X

Jetzt interessiere ich mich jedoch für einen Bayes'schen Ansatz in der folgenden Richtung. Ich glaube zunächst, dass einer Verteilung folgt . Ich nehme Messungen von . Gibt es einen Ansatz, um basierend auf meinen neuen Messwerten zu aktualisieren ?F n X FXFnXF

Ich weiß, ich höre mich so an, als würde ich mir selbst widersprechen: Wenn ich nur an als meine vorherige Verteilung glaube , dann sollten mich keine Daten davon überzeugen. Allerdings nehme waren und meine Datenpunkte waren wie . Da ich sehe , kann ich mich natürlich nicht an meinen vorherigen halten, aber wie soll ich ihn aktualisieren?F U n i f [ 0 , 1 ] ( 0,3 , 0,5 , 0,9 , 1,7 ) 1,7FFUnif[0,1](0.3,0.5,0.9,1.7)1.7

Update: Basierend auf den Vorschlägen in den Kommentaren habe ich begonnen, Dirichlet-Prozess zu suchen. Lassen Sie mich die folgenden Notationen verwenden:

GDP(α,H)θi|GGxi|θiN(θi,σ2)

Nachdem ich mein ursprüngliches Problem in dieser Sprache formuliert habe, bin ich wahrscheinlich an Folgendem interessiert: . Wie macht man das?θn+1|x1,...,xn

In dieser Gruppe von Notizen (Seite 2) hat der Autor ein Beispiel für (Polya Urn Scheme). Ich bin mir nicht sicher, ob dies relevant ist.θn+1|θ1,...,θn

Update 2: Ich möchte auch fragen (nachdem ich die Notizen gesehen habe): Wie wählen die Leute für den DP aus? Es scheint eine zufällige Wahl zu sein. Wie wählen die Leute außerdem ein vorheriges für DP aus? Sollte ich für nur ein Prior als mein Prior für ?αHθH

renrenthehamster
quelle
2
"Wenn ich nur an F als meine vorherige Verteilung glaube, dann sollten mich keine Daten anders überzeugen." Dies ist der Gegensatz zur Bayes'schen Folgerung, die eher dem Prinzip entspricht , was Sie einerseits und die Welt andererseits glauben, und sie zusammenzudrücken und zu sehen, was herauskommt. Waschen, ausspülen, wiederholen.
Alexis
Wissen Sie etwas über den Dirichlet-Prozess?
Niandra82
Ignorieren Sie Ihren letzten Absatz: Es gibt zwei gängige Optionen für dieses Problem. Eine ist eine endliche Mischung von Normalen (Sie können wählen, wie viele Normalen auf der Wahrscheinlichkeit einer Kreuzvalidierung basieren) oder eine unendliche Mischung von Normalen, wie @ niandra82 vorschlägt. Diese können mit so etwas wie Gibbs-Sampling oder Variationsinferenz durchgeführt werden. Kennen Sie eine dieser Methoden?
Ich sollte auch fragen, wie Sie diesen KDE nutzen wollen. Die gewählte Methode und die Größe (unendlich, endlich) können von Ihrem Ziel abhängen.
Dies klingt entweder nach einem Modellwahlproblem oder nach einem philosophischen Problem. In Wirklichkeit setzt unsere Wahl, welche Wahrscheinlichkeit in der Bayes'schen Folgerung verwendet wird, auch frühere Überzeugungen voraus ...
Zoë Clark,

Antworten:

2

Da Sie einen bayesianischen Ansatz wünschen, müssen Sie einige Vorkenntnisse über die zu schätzende Sache voraussetzen. Dies erfolgt in Form einer Ausschüttung.

Nun gibt es das Problem, dass dies jetzt eine Verteilung über Verteilungen ist. Dies ist jedoch kein Problem, wenn Sie davon ausgehen, dass die Kandidatenverteilungen aus einer parametrisierten Verteilungsklasse stammen.

Wenn Sie beispielsweise davon ausgehen möchten, dass die Daten mit unbekanntem Mittelwert, aber bekannter Varianz gaußverteilt sind, brauchen Sie nur einen Vorrang vor dem Mittelwert.

Die MAP-Schätzung des unbekannten Parameters (nenne es ) könnte fortgesetzt werden, indem angenommen wird, dass alle Beobachtungen / Datenpunkte angesichts des unbekannten Parameters bedingt unabhängig sind. Dann ist die MAP-Schätzungθ

,θ^=argmaxθ(Pr[x1,x2,...,xn,θ])

woher

.Pr[x1,x2,...,xn,θ]=Pr[x1,x2,...,xn|θ]Pr[θ]=Pr[θ]i=1nPr[xi|θ]

Es ist zu beachten, dass es bestimmte Kombinationen der vorherigen Wahrscheinlichkeit und der Kandidatenverteilungen Pr [ x | gibt θ ] , die zu einfachen Aktualisierungen (in geschlossener Form) führen, wenn mehr Datenpunkte empfangen werden.Pr[θ]Pr[x|θ]

Bohne
quelle
1

Für die Dichteschätzung ist dies nicht erforderlich

.θn+1|x1,,xn

Die Formel in Noten bezieht sich auf die prädiktive Verteilung des Dirichlet-Prozesses.θn+1|θ1,,θn

Für die Dichteschätzung muss tatsächlich aus der prädiktiven Verteilung

π(dxn+1|x1,,xn)

Die Probenahme aus der obigen Verteilung kann entweder mit bedingten Methoden oder mit Randmethoden erfolgen. Informationen zu den bedingten Methoden finden Sie in der Arbeit von Stephen Walker [1]. Informationen zu Randmethoden finden Sie in Radford Neal Paper [2].

Für den Konzentrationsparameter schlägt Mike West [3] eine Methode zur Inferenz in der MCMC-Prozedur vor, die eine vollständige bedingte Verteilung für α enthält . Wenn Sie sich entscheiden, die Konzentration α in der MCMC-Prozedur nicht zu aktualisieren , sollten Sie berücksichtigen, dass bei Auswahl eines großen Werts die Anzahl der eindeutigen Werte, die aus dem Dirichlet-Prozess gezogen werden, größer ist als die Anzahl der eindeutigen Werte, wenn eine kleine Zahl für α wird verwendet.αααα

[1] SG, Walker (2006). Sampling des Dirichlet-Mixture-Modells mit Slices. Kommunikation in der Statik (Simulation und Berechnung).

[2] RM, Neal (2000), Markov-Ketten-Monte-Carlo-Methoden für Dirichlet-Prozessmischungsmodelle. Zeitschrift für Computer- und Grafikstatistik. Band 9, Nr. 2, S. 249-265

[3] M., West (1992). Hyperparameterschätzung in Dirichlet-Prozessmischungsmodellen. Technischer Bericht

Christos
quelle
-1

Gibt es einen Ansatz, um F basierend auf meinen neuen Messwerten zu aktualisieren?

Genau dafür gibt es etwas. Es ist so ziemlich die Hauptidee der Bayes'schen Folgerung.

p(θ|y)p(y|θ)p(θ)

p(θ)Fp(y|θ)θ

p(θ)

rcorty
quelle
3
FX1,,XniidFFL(F)=i=1NdFdx|x=xiF