Haben stochastische Prozesse wie der Gaußsche Prozess / Dirichlet-Prozess Dichten? Wenn nicht, wie kann die Bayes-Regel auf sie angewendet werden?

10

Der Dirichlet-Prozess und der Gauß-Prozess werden oft als "Verteilungen über Funktionen" oder "Verteilungen über Verteilungen" bezeichnet. Kann ich in diesem Fall sinnvoll über die Dichte einer Funktion unter einem Hausarzt sprechen? Das heißt, haben der Gaußsche Prozess oder der Dirichlet-Prozess eine Vorstellung von einer Wahrscheinlichkeitsdichte?

Wenn dies nicht der Fall ist, wie können wir die Bayes-Regel verwenden, um von vor nach hinten zu gehen, wenn der Begriff der vorherigen Wahrscheinlichkeit einer Funktion nicht genau definiert ist? Gibt es in der Bayes'schen nichtparametrischen Welt Dinge wie MAP- oder EAP-Schätzungen? Vielen Dank.

snickerdoodles777
quelle
1
Da die (zB) Gaußsche Prozessrealisierung nur bei einer endlichen Punktesammlung beobachtet wird, ist das entsprechende Produkt der Lebesgue-Maßnahmen das dominierende Maß. Dies bedeutet, dass für die Beobachtung der Zufallsfunktion an einer endlichen Sammlung von Punkten eine Dichte existiert. f
Xi'an
Die Antwort über Dichten lautet ja, und die geeignete mathematische Formulierung wird als Radon-Nikodym-Derivat bezeichnet.
whuber

Antworten:

4

Eine "Dichte" oder "Wahrscheinlichkeit" bezieht sich auf den Radon-Nikodym-Satz in der Maßtheorie. Wie von @ Xi'an, wenn Sie eine endliche Menge von so genannten betrachten Teil Beobachtungen eines stochastischen Prozesses, die Wahrscheinlichkeit entspricht dem üblichen Begriff der Ableitung bezüglich der Lebesguemaß. Zum Beispiel ist die Wahrscheinlichkeit eines Gaußschen Prozesses, der bei einem bekannten endlichen Satz von Indizes beobachtet wird, die eines Gaußschen Zufallsvektors, dessen Mittelwert eine aus dem des Prozesses abgeleitete Kovarianz ist, die beide parametrisierte Formen annehmen können.

In dem idealisierten Fall, in dem eine unendliche Anzahl von Beobachtungen aus einem stochastischen Prozess verfügbar ist, befindet sich das Wahrscheinlichkeitsmaß in einem unendlich dimensionalen Raum, beispielsweise einem Raum kontinuierlicher Funktionen, wenn der stochastische Prozess kontinuierliche Pfade aufweist. Aber nichts existiert wie ein Lebesgue-Maß für einen unendlich dimensionalen Raum, daher gibt es keine eindeutige Definition der Wahrscheinlichkeit.

Für Gaußsche Prozesse gibt es einige Fälle, in denen wir eine Wahrscheinlichkeit definieren können, indem wir den Begriff der Äquivalenz von Gaußschen Maßen verwenden. Ein wichtiges Beispiel ist der Satz von Girsanov, der in der Finanzmathematik weit verbreitet ist. Dies definiert die Wahrscheinlichkeit einer Itô-Diffusion als die Ableitung der Wahrscheinlichkeitsverteilung eines für definierten Standard-Wiener-Prozesses . Eine nette mathematische Darstellung findet sich in dem Buch von Bernt Øksendal . Das (kommende) Buch von Särkkä und Solin bietet eine intuitivere Präsentation, die den Praktizierenden helfen wird. Eine brillante mathematische Darstellung zu Analyse und Wahrscheinlichkeit auf unendlich dimensionalen Räumen von Nate Elderedge ist verfügbar.YtBtt0

Beachten Sie, dass die Wahrscheinlichkeit eines stochastischen Prozesses, der vollständig beobachtet werden würde, von Statistikern manchmal als Infill-Wahrscheinlichkeit bezeichnet wird.

Yves
quelle
Sehr hilfreiche Erklärung! Ich denke, ein Teil meiner Verwirrung in Bezug auf Themen wie diese in der Bayesianischen Nichtparametrik ist darauf zurückzuführen, dass ich mit der Maßtheorie und der Funktionsanalyse nicht vertraut bin. Daher werde ich Ihre Referenzen auf jeden Fall überprüfen.
snickerdoodles777