Wie kann ein unsachgemäßer Vorversuch zu einer korrekten posterioren Verteilung führen?

Wir wissen, dass im Falle einer ordnungsgemäßen vorherigen Verteilung,

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

Die übliche Rechtfertigung für diesen Schritt ist, dass die Randverteilung von $X$ , $P(X)$ Bezug auf ; konstant $\theta$ist und daher ignoriert werden kann, wenn die hintere Verteilung abgeleitet wird.

Woher wissen Sie jedoch, dass die posteriore Verteilung tatsächlich vorhanden ist, wenn ein falscher Prior vorliegt? In diesem scheinbar zirkulären Argument scheint etwas zu fehlen. Mit anderen Worten, wenn ich annehme, dass der hintere Teil existiert, verstehe ich die Mechanismen, wie der hintere Teil abgeleitet werden kann, aber ich vermisse anscheinend die theoretische Rechtfertigung dafür, warum er überhaupt existiert.

PS: Ich erkenne auch, dass es Fälle gibt, in denen ein unangemessener Vorlauf zu einem unangemessenen Nachlauf führt.

Wir akzeptieren im Allgemeinen Posterioren von nicht korrekten Prioren wenn π ( X ∣ θ ) π ( θ $\pi(\theta)$ existiert und ist eine gültige Wahrscheinlichkeitsverteilung (dh es wird genau zu 1 über den Träger integriert). Im Wesentlichen läuft dies aufπ(X)=∫π(X∣θ)π(θ

Nun, ich sagte, wir akzeptieren "hintere" Verteilungen von unzulässigen Vorgesetzten, wenn man das oben Gesagte bedenkt. Der Grund, warum sie akzeptiert werden, liegt darin, dass das vorherige uns immer noch relative "Scores" für den Parameterraum liefert. dh das Verhältnis π ( θ 1$\pi(\theta)$ bringt Bedeutung in unsere Analyse. Die Bedeutung, die wir in einigen Fällen von unangemessenen Priors erhalten, ist möglicherweise bei richtigen Priors nicht verfügbar. Dies ist eine mögliche Rechtfertigung für ihre Verwendung. Siehe Sergios Antwort für eine eingehendere Untersuchung der praktischen Motivation für unangemessene Vorgesetzte.$\frac{\pi(\theta_1)}{\pi(\theta_2)}$

Es ist erwähnenswert, dass diese Größe auch wünschenswerte theoretische Eigenschaften hat, Degroot & Schervish :$\pi(\theta \mid X)$

Unsachgemäße Prioritäten sind keine wahren Wahrscheinlichkeitsverteilungen, aber wenn wir dies so tun, berechnen wir Posteriorverteilungen, die den Posterioren entsprechen, die wir unter Verwendung geeigneter konjugierter Prioritäten mit Extremwerten der vorherigen Hyperparameter erhalten hätten.

Es gibt eine "theoretische" und eine "pragmatische" Antwort.

Unter einem theoretischen Gesichtspunkt existiert der hintere Teil nicht, wenn ein Prior unangemessen ist (sehen Sie sich Matthews Antwort für eine fundiertere Aussage an), sondern kann durch eine einschränkende Form angenähert werden.

Umfassen die Daten eine bedingte Stichprobe aus der Bernoulli - Verteilung mit dem Parameter und hat θ die Beta - Verteilung mit den Parametern α und β , so ist die hintere Verteilung von θ die Beta - Verteilung mit den Parametern α + s , β + n - s ( n Beobachtungen, s Erfolge) und sein Mittelwert ist ( α + s ) / ( α + β + n $\theta$$\theta$$\alpha$$\beta$$\theta$$\alpha + s, \beta+n-s$$n$$s$$(\alpha+s)/(\alpha+\beta+n)$ . Wenn wir die falsche (und unwirkliche) Beta-Verteilung vor früheren Hypeparametern und geben vor, dass π ( θ ) ∝ θ - 1 ( 1 - θ ) - 1 , wir erhalten eine richtige posteriore Proportionalität zu θ s - 1 ( 1 - θ ) n - s - 1 , dh das pdf des Beta Verteilung mit Parametern s bis auf einen konstanten Faktor. Dies ist die limitierende Form des Seitenzahns für ein Beta vor den Parametern α → 0 und$\alpha=\beta=0$$\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$$\theta^{s-1}(1-\theta)^{n-s-1}$$s$ und $n-s$$\alpha\to 0$ (Degroot & Schervish, Beispiel 7.3.13).$\beta\to 0$

In einem normalen Modell mit Mittelwert , bekannten Varianz & sgr; 2 und einer N ( μ 0 , τ 2 0 ) vor Verteilung für θ , wenn der Stand der Präzision, 1 / τ 2 0 , ist klein gegenüber der Datengenauigkeit, n / σ 2 , dann ist die hintere Verteilung ungefähr so, als ob τ 2 0 = ∞ : p ( θ ∣ x ) ≈ N ( θ ∣ $\theta$$\sigma^2$$\mathcal{N}(\mu_0,\tau^2_0)$$\theta$$1/\tau^2_0$$n/\sigma^2$$\tau^2_0=\infty$ dh die posteriore Verteilung ist ungefähr diejenige, die sich aus der Annahme ergeben würde, dass p ( θ ) proportional zu einer Konstanten für θ ∈ ( - ∞ , ∞ ) ist , eine Verteilung, die nicht unbedingt möglich ist, sondern die einschränkende Form des posterioren wenn sich τ 2 0 nähert

Unter einem "pragmatischen" Gesichtspunkt ist wenn p ( x ≤ & thgr ; ) = 0 ist, was auch immer p ( & thgr; ) ist, wenn also p ( x ≤ & thgr ; ) ≤ 0 in ( a , b ) , dann ∫ ∞ - ∞ p ( x ∣ θ ) p ( $p(x\mid\theta)p(\theta)=0$$p(x\mid\theta)=0$$p(\theta)$$p(x\mid\theta)\ne 0$$(a,b)$$\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$$(a,b)$$f(x)=k, x\in(-\infty,\infty)$$f(x)=kx^{-1}, x\in(0,\infty)$$(a,b)$$\theta$$\mathcal{U}(-\infty,\infty)$$(a,b)$$\theta\sim\mathcal{U}(a,b)$, i.e. $p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$. For a concrete example, this is what happens in Stan: if no prior is specified for a parameter, it is implicitly given a uniform prior on its support and this is handled as a multiplication of the likelihood by a constant.

However, in the case of an improper prior, how do you know that the posterior distribution actually exists?

The posterior might not be proper either. If the prior is improper and the likelihood is flat (because there are no meaningful observations), then the posterior equals the prior and is also improper.

Usually you have some observations, and usually the likelihood is not flat, so the posterior is proper.