Muss der Bayesianische Seitenzahn eine richtige Verteilung sein?

21

Ich weiß, dass Priors nicht richtig sein müssen und dass die Likelihood-Funktion auch nicht zu 1 integriert wird. Aber muss der posterior eine korrekte Verteilung sein? Was sind die Implikationen, wenn es nicht ist / ist?

ATJ
quelle

Antworten:

15

(Es ist etwas überraschend, die vorherigen Antworten zu lesen, die sich auf die potenzielle Unangemessenheit des Seitenzahns konzentrieren, wenn der Prior richtig ist, da, soweit ich das beurteilen kann, die Frage lautet, ob der Seitenzahn richtig sein muss oder nicht ( dh zu einem integrierbar, um ein richtiger (dh für Bayes'sche Folgerung akzeptabler) Posterior zu sein.

In Bayes - Statistik, die a posteriori Verteilung hat eine Wahrscheinlichkeitsverteilung sein, von dem man Momente wie die hinteren Mittel ableiten und Wahrscheinlichkeitsangaben wie die Abdeckung eines glaubwürdigen Bereichs, P ( π ( θ | x ) > κ | x ) . Wenn f ( x | θ )Eπ[h(θ)|x]P(π(θ|x)>κ|x) das hintere π ( θ | x

f(x|θ)π(θ)dθ=+,(1)
kann nicht zu einer Wahrscheinlichkeitsdichte normiert werden, und eine Bayes'sche Folgerung kann einfach nicht durchgeführt werden. Der posterior existiert in solchen Fällen einfach nicht.π(θ|x)

Tatsächlich muss (1) für alle im Probenraum gelten und nicht nur für das beobachtete x , da sonst die Auswahl des Prior von den Daten abhängen würde . Dies bedeutet, dass Priors wie Haldanes Prior π ( p ) { 1 / p ( 1 - p ) } zur Wahrscheinlichkeit p eines Binoms oder einer negativen Binomialvariablen X nicht verwendet werden können, da der Posterior nicht für x = definiert ist 0 .x xπ(p){1/p(1p)}pXx=0

Ich kenne eine Ausnahme, wenn man von "unsachgemäßen Nachkommen" sprechen kann: Sie ist in "The Art of Data Augmentation" von David van Dyk und Xiao-Li Meng zu finden. Das falsche Maß liegt über einem sogenannten Arbeitsparameter so dass die Beobachtung durch den Rand einer erhöhten Verteilung f ( x | θ ) = T ( x aug ) = x f ( x aug | θ ,α und van Dyk und Meng setzendiesem Arbeitsparameter α ein falsches vorangestelltes p ( α ) , um die Simulation von π ( θ | x ) zu beschleunigen

f(x|θ)=T(xaug)=xf(xaug|θ,α)dxaug
p(α)απ(θ|x) (die als Wahrscheinlichkeitsdichte gut definiert bleibt) durch MCMC .

In einer anderen Perspektive, die etwas mit der Antwort von eretmochelys zu tun hat , nämlich einer Perspektive der Bayes'schen Entscheidungstheorie , könnte eine Einstellung, in der (1) auftritt, noch akzeptabel sein, wenn sie zu optimalen Entscheidungen führt. Wenn nämlich eine Verlustfunktion ist, die die Auswirkung der Verwendung der Entscheidung δ bewertet , ist eine Bayes'sche optimale Entscheidung unter dem vorherigen π durch δ gegebenL(δ,θ)0δπ und alles, was zählt, ist, dass dieses Integral nicht überall (in δ ) unendlich ist. Ob (1) gilt oder nicht, ist für die Herleitung von δ ( x ) zweitrangig , obwohl Eigenschaften wie Zulässigkeit nur dann garantiert sind, wenn (1) gilt.

δ(x)=argminδL(δ,θ)f(x|θ)π(θ)dθ
δδ(x)
Xi'an
quelle
19

Die hintere Verteilung muss nicht richtig sein, auch wenn der Prior richtig ist. Angenommen, hat ein Gamma vor Form 0.25 (was richtig ist) und wir modellieren unser Datum x, wie es aus einer Gaußschen Verteilung mit dem Mittelwert Null und der Varianz v gezogen wird . Angenommen, es wird beobachtet, dass x Null ist. Dann ist die Wahrscheinlichkeit p ( x | v ) proportional zu v - 0,5 , was die posteriore Verteilung für v ungenau macht, da sie proportional zu istvxvxp(x|v)v0.5vv1.25ev. Dieses Problem entsteht aufgrund der verrückten Natur kontinuierlicher Variablen.

Tom Minka
quelle
Cooles Beispiel, Tom!
Zen
+1, aber können Sie die Antwort auf den letzten Satz des OP erweitern? Ist dieser verrückte hintere Teil von Bedeutung (können Sie die Dinge tun, die Sie normalerweise mit einem hinteren Teil tun würden), oder ist er analog dazu, aus einigen Berechnungen eine NaN oder eine Inf zu erhalten? Ist es ein Zeichen, dass etwas mit Ihrem Modell nicht stimmt?
Wayne
5
Es ist nichts falsch mit dem Modell. Dieser hintere Teil ist in dem Sinne bedeutsam, dass Sie, wenn Sie eine andere Beobachtung erhalten, diese multiplizieren und möglicherweise zu einem richtigen hinteren Teil zurückkehren können. Es ist also nicht wie bei einem NaN, bei dem alle weiteren Operationen NaN sind.
Tom Minka
8
Obwohl dies wahrscheinlich zu spät ist, um eine Rolle zu spielen, glaube ich nicht, dass solche "Gegenbeispiele" Anfängern helfen: Das Problem entsteht, weil Sie eine bestimmte Version der Gaußschen Dichte bei , wenn sie für diese Menge willkürlich definiert werden kann von Maß Null. Und daher machen Sie den Seitenzahn je nach gewählter Version richtig oder falsch. x=0
Xi'an,
Interessant - wenn Sie das allgemeine , dann ist der hintere Teil ein verallgemeinerter inverser Gauß mit Parametern - 0,25 , 1 , x 2 . @ Xi'an - es wäre gut zu sehen, wie man einen richtigen posterioren Effekt erzielen kann. x0.25,1,x2
Wahrscheinlichkeitslogik
11

Definieren der Menge wir P r ( X Bogus-Daten ) = Bogus-Daten f ( x θ )

Bogus Data={x:f(xθ)π(θ)dθ=},
Das letzte Integral ist gleich ∞, wenn das Lebesgue-Maß für Bogus Data positiv ist. Dies ist jedoch unmöglich, da dieses Integral Ihnen eine Wahrscheinlichkeit gibt (eine reelle Zahl zwischen 0 und 1 ). Daraus folgt, dass das Lebesgue-Maß für Bogus-Daten gleich 0 ist , und natürlich folgt daraus auch, dass P r ( X Bogus-Daten ) = 0 ist .
Pr(XBogus Data)=Bogus Dataf(xθ)π(θ)dθdx=Bogus Datadx.
Bogus Data01Bogus Data0Pr(XBogus Data)=0

In Worten: Die vorhergehende prädiktive Wahrscheinlichkeit derjenigen Stichprobenwerte, die den posterioren falsch machen, ist gleich Null.

Moral der Geschichte: Vorsicht vor Nullsätzen, sie können beißen, wie unwahrscheinlich es auch sein mag.

PS Wie von Prof. Robert in den Kommentaren ausgeführt, wird diese Argumentation zunichte gemacht, wenn der Prior nicht korrekt ist.

Zen
quelle
4
Sie haben einmal geschrieben : "Wenn wir mit einem richtigen Prior beginnen und einen unpassenden Posterior bekommen können, dann werde ich aufhören zu schließen."
Tom Minka
2
Ein bisschen Zunge in der Hand, es gab einen impliziten Quantifizierer: Wenn wir mit einem richtigen Prior beginnen und für jeden möglichen Stichprobenwert einen falschen Posterior erhalten können, werde ich die Folgerung beenden. ;-)
Zen
Übrigens, bemerkenswerte Erinnerung, Tom!
Zen
4
Pr(XBogus Data)(θ,x)
1
Du hast Recht. Die Begründung in der Antwort funktioniert nur mit richtigen Prioritäten. Guter Punkt. Ich werde eine Notiz hinzufügen.
Zen
3

Jede "Verteilung" muss sich zu 1 summieren (oder integrieren). Ich kann mir einige Beispiele vorstellen, bei denen man mit nicht normalisierten Verteilungen arbeiten könnte, aber es ist mir unangenehm, jemals etwas zu nennen, das zu etwas anderem als einer "Verteilung" marginalisiert.

xd

x^=argmaxxPX|D(x|d)=argmaxxPD|X(d|x)PX(x)PD(d)=argmaxxPD|X(d|x)PX(x)

PDxx^PD|X(d|x)PX(x)

Eretmochelys
quelle
@Zen Würde es Ihnen etwas ausmachen, genauer zu sagen, was Ihrer Meinung nach an dieser Antwort falsch (oder grundsätzlich unvollständig) ist?
Whuber
1
Eine Möglichkeit, die OP-Frage zu interpretieren: "Muss der Posterior eine ordnungsgemäße Verteilung sein?" ist zu fragen, ob es mathematisch möglich ist, mit einem richtigen Prior zu beginnen und mit einem falschen Posterior zu enden. Minkas Antwort gibt ein explizites Beispiel, in dem es passiert. Ich habe versucht, es mit meiner Antwort zu ergänzen und darauf hinzuweisen, dass dies nur innerhalb einer Menge von Null vor der Vorhersage der Wahrscheinlichkeit geschehen kann.
Zen
1
@Zen Es scheint mir, dass eine eng verwandte Interpretation lautet: "Wenn der hintere Teil nicht korrekt ist, welche Informationen kann ich daraus erhalten?" Diese akzeptierte Antwort sieht so aus, als ob sie nützliche und korrekte Ratschläge in Bezug auf einen bestimmten Umstand (der klar beschrieben wird) enthält. Die Annahme sieht für mich wie ein Signal aus, das eretmochelys mit einer klugen Vermutung der Umstände nach Hause schlug.
whuber
-2

Eine unsachgemäße posteriore Verteilung tritt nur auf, wenn Sie eine unsachgemäße vorherige Verteilung haben. Dies impliziert, dass die asymptotischen Ergebnisse nicht zutreffen. Betrachten Sie als Beispiel ein Binomial ausn Erfolg und 0 Fehler, falls verwendet Betein(0,0)wie die vorherige Verteilung, dann ist der hintere unpassend. In dieser Situation ist es am besten, an eine ordnungsgemäße vorherige Verteilung zu denken, um Ihre nicht ordnungsgemäße vorherige Verteilung zu ersetzen.

omidi
quelle
3
Diese Antwort ist falsch. Siehe meine Antwort.
Tom Minka