Was ist der Unterschied zwischen posteriorer und posteriorer prädiktiver Verteilung?

Ich verstehe, was ein Posterior ist, bin mir aber nicht sicher, was Letzteres bedeutet?

Wie unterscheiden sich die beiden?

Kevin P Murphy wies in seinem Lehrbuch " Maschinelles Lernen: eine probabilistische Perspektive" darauf hin , dass es sich um einen "internen Glaubenszustand" handelt. Was heißt das eigentlich? Ich hatte den Eindruck, dass ein Prior Ihren internen Glauben oder Ihre Vorurteile repräsentiert. Wo liege ich falsch?

posterior definition ANZEIGE
quelle

Antworten:

Der einfache Unterschied zwischen den beiden besteht darin, dass die hintere Verteilung von dem unbekannten Parameter ; abhängt , dh die hintere Verteilung ist: wobei ist die Normalisierungskonstante. $\theta$

p (θ | x) = c \times p (x | θ) p (θ)

$p(\theta|x)=c\times p(x|\theta)p(\theta)$

c

$c$

Andererseits hängt die posteriore prädiktive Verteilung nicht von dem unbekannten Parameter da sie herausintegriert wurde, dh die posteriore prädiktive Verteilung ist: $\theta$

p (x^{*} | x) = \int_{Θ} c \times p (x^{*}, θ | x) d θ = \int_{Θ} c \times p (x^{*} | θ) p (θ | x) d θ

$p(x^*|x)=\int_\Theta c\times p(x^*,\theta|x)d\theta=\int_\Theta c\times p(x^*|\theta)p(\theta|x)d\theta$

Dabei ist eine neue unbeobachtete Zufallsvariable und unabhängig von . $x^*$ $x$

Ich werde nicht auf die Erklärung der posterioren Verteilung eingehen, da Sie sagen, dass Sie sie verstehen, aber die posterioren Verteilung "ist die Verteilung einer unbekannten Größe, die als Zufallsvariable behandelt wird, abhängig von den erhaltenen Beweisen" (Wikipedia). Im Grunde ist es die Verteilung, die Ihren unbekannten, zufälligen Parameter erklärt.

Andererseits hat die nachträgliche Vorhersageverteilung eine völlig andere Bedeutung, da sie die Verteilung für zukünftige Vorhersagedaten auf der Grundlage der Daten ist, die Sie bereits gesehen haben. Die posteriore Vorhersageverteilung wird also im Wesentlichen verwendet, um neue Datenwerte vorherzusagen.

Wenn es hilft, ist ein Beispieldiagramm einer posterioren Verteilung und einer posterioren prädiktiven Verteilung:

Bildbeschreibung hier eingeben

Jinhua Wang
quelle

Dieses vordere Vorhersageverteilungsdiagramm benötigt neue Achsenbeschriftungen und eine Beschriftung oder ähnliches. Ich komme auf die Idee, weil ich weiß, was eine Vorhersageverteilung im Nachhinein ist, aber jemand, der es nur herausfindet, könnte ernsthaft verwirrt werden.

Cyan

Dank @BabakP können Sie mir auch sagen, auf welche Verteilung Sie die PMF von Theta und P (x * | Theta) gezeichnet haben

... weil ich das ganze Beispiel ausarbeiten möchte.

Ich habe nur so getan, als wäre mein Posterior eine Beta (3,2). Eigentlich habe ich nichts ausgerechnet. Wenn Sie jedoch ein Beispiel wünschen, nehmen Sie an, dass die Wahrscheinlichkeit ein Binomial (n, p) und das Priorum auf p ein Beta (a, b) ist, dann sollten Sie in der Lage sein, zu erhalten, dass der Posterior wieder eine Beta-Verteilung ist .

Auch dieses hintere Vorhersagen ist nicht leicht abzuleiten. Ich habe mir gerade ein Diagramm aus einem Gaußschen Prozesscode geholt, den ich für einen GP-Posterior-Predictive geschrieben habe. Und mit dem Gesagten, dass der hintere und der hintere vorhersagende Plot oben nicht tatsächlich dem gezeigten hinteren entsprechen, sind beide willkürlich.

Die Vorhersageverteilung wird normalerweise verwendet, wenn Sie eine posteriore Verteilung für den Parameter eines Vorhersagemodells gelernt haben. Zum Beispiel lernen Sie in der Bayes'schen linearen Regression eine posteriore Verteilung über den w-Parameter des Modells y = wX, wenn einige beobachtete Daten X vorliegen.
Wenn dann ein neuer unsichtbarer Datenpunkt x * eintritt , möchten Sie die Verteilung über mögliche Vorhersagen y finden * gegeben die hintere Verteilung für w, die Sie gerade gelernt haben. Diese Verteilung über mögliche y * ist bei gegebenem Posterior für w die Vorhersageverteilung.

user1893354
quelle

Sie beziehen sich auf Verteilungen von zwei verschiedenen Dingen.

Die hintere Verteilung bezieht sich auf die Verteilung des Parameters , während sich die prädiktive hintere Verteilung (Predictive Posterior Distribution, PPD) auf die Verteilung zukünftiger Beobachtungen von Daten bezieht .

SPMQET
quelle