Kann eine angemessene vorherige und potenzierte Wahrscheinlichkeit zu einem unangemessenen posterioren führen?

(Diese Frage ist von diesem Kommentar von Xi'an inspiriert .)

Es ist bekannt , dass , wenn die vorherige Verteilung $\pi(\theta)$ ist die richtige und die Wahrscheinlichkeit $L(\theta | x)$ ist wohldefiniert, so ist die a posteriori Verteilung $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$ ist fast sicher richtig.

In einigen Fällen verwenden wir stattdessen eine temperierte oder potenzierte Wahrscheinlichkeit, die zu einem Pseudo-Posterior führt

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$ für einige

α > 0

$\alpha>0$ (dies kann beispielsweise Rechenvorteile haben).

Ist es in dieser Einstellung möglich, einen richtigen Prior, aber einen falschen Pseudo-Posterior zu haben?

bayesian prior posterior Robin Ryder
quelle

Tatsächlich würde ich es einige Minuten später für unwahrscheinlich halten, da die Divergenz des vorherigen x-Likelihood-Produkts verringert wird, wenn das vorherige x-Likelihood ^ α-Produkt betrachtet wird ... Jede Seeschwalbe, die ins Unendliche geht, geht dort langsamer! Und Terme, die langsamer auf Null gehen, werden vom richtigen Prior gesteuert. Meine Wette ist also, dass dies unmöglich ist. (Warnung: Es ist bekannt, dass ich falsch liege!)

Xi'an

α > 1

$\alpha > 1$

Wenn Sie also einen Fall finden können, in dem

ein Polynom hat Schwänze, dann können Sie möglicherweise einen falschen Pseudo-Posterior konstruieren.

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

πr8

Würde dieses Argument auch für

funktionieren ? Gibt es auch eine Möglichkeit zu beweisen, dass eine auf diese Weise konstruierte Wahrscheinlichkeit angemessen wäre?

α < 1

$\alpha < 1$

InfProbSciX

Tatsächlich ist für

, da wir wissen, dass

, das Supremum auf der RHS immer endlich, und für

verwendet man Ihr Jensen-Argument, um den gleichen Abzug zu ziehen. Das Argument scheitert also in dieser Hinsicht. Eine kleine Bemerkung, dass dieses Argument eine unbegrenzte Wahrscheinlichkeit

erfordert, um erfolgreich zu sein, dh

für alle

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

πr8

Richtig, für

kann man keinen guten Punkt konstruieren! Ich muss sagen, ich wäre fasziniert , ein Beispiel für eine unbegrenzte Wahrscheinlichkeit zu sehen! Vielleicht wäre ein Beta-Posterior das Ergebnis einer unbegrenzten Wahrscheinlichkeit.

α = 1

$\alpha = 1$

InfProbSciX

Antworten:

Für $\alpha \leq 1$ ist dies vielleicht ein Argument, um zu zeigen, dass es unmöglich ist, einen solchen Posterior zu konstruieren?

Wir möchten herausfinden, ob es für $\int \tilde \pi(\theta|x)d\theta = \infty$ .

Auf der rechten Seite:

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

Wenn $\alpha \leq 1$ , ist $x^{\alpha}$ eine konkave Funktion, also durch die Jensen-Ungleichung:

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... where $m(x)$ as Xi'an pointed out, is the normalising constant (the evidence).

InfProbSciX
quelle

Neat, thanks. I like that you are using the fact that for

α = 1

$\alpha=1$ the posterior is proper.

Robin Ryder

It's possible to use the result in @InfProbSciX's answer to prove the result in general. Rewrite $L(\theta\mid x)^\alpha\pi(\theta)$ as

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$ If

1 \leq α \leq 2

$1 \leq \alpha \leq 2$ , we have the Jensen's inequality case above, since we know that

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$ is normalisable. Similarly, if

2 \leq α \leq 3

$2 \leq \alpha \leq 3$ , we can write

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$ with

1 \leq p \leq 2

$1 \leq p \leq 2$ , again falling into the same case, since we know that

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$ is normalisable. Now one can use (strong) induction to show the case in general.

Old comments

Not sure if this is super useful, but since I can't comment I will leave this in an answer. In addition to @InfProbSciX's excellent remark about $\alpha \leq 1$ , if one makes the further assumption that $L(\theta \mid x) \in L^p$ , then it is impossible to have a proper prior but an improper pseudo-posterior for $1 < \alpha \leq p$ . For instance, if we know that the second ( $p$ -th) moment of $L(\theta \mid x)$ exists, we know it is in $L^2$ ( $L^p$ ) and hence the pseudo-posterior will proper for $0 \leq \alpha \leq 2$ . Section 1 in these notes goes into a bit more detail, but unfortunately it is not clear how broad the class of, say, $L^{10}$ pdfs is. I apologise if I'm speaking out of turn here, I really wanted to leave this as a comment.

Luiz Max Carvalho
quelle

You're right, if the likelihood function

L (θ | x)

$L(\theta|x)$ is within the space

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$ - i.e. the

L^{p}

$L^p$ space w.r.t. the measure induced by the prior, then the posterior will be proper for

1 \leq α \leq p

$1 \leq \alpha \leq p$ . I'm totally guessing here, but I think that the space would encompass most likelihoods we can think of - I think I might have read a proof ages ago that says that if

f

$f$ is Riemann integrable, then its positive powers are as well.

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$ is integrable though. Theorem 1.26 for reference

InfProbSciX

@InfProbSciX, I think there might be a complete proof lurking in the shadows here. I take from your answer that

α

$\alpha$ can be negative. If that is correct, then we can show that for any

p > 1

$p > 1$ the pseudo-likelihood will be integrable because reciprocals of integrable functions are integrable. And if the likelihood is integrable, I argue that the posterior will be integrable because the prior is bounded, and the product of an integrable and a bounded function is integrable (math.stackexchange.com/a/56008/271610). Let me know what you think.

Luiz Max Carvalho

I think that you can disregard the case where

α < 0

$\alpha < 0$ , as the question explicitly assumes otherwise. The integrability of

L^{α}

$L^{\alpha}$ for any general case needs to be shown. Also, I'm not sure if the prior is always bounded, for example, the density of a

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$ wouldn't be.

InfProbSciX

@InfProbSciX, what I meant was that even if

α < 0

$\alpha < 0$ is not in the question, if your proof holds for that condition also, then we could show integrability for

α > 1

$\alpha > 1$ by leveraging the fact that if

f

$f$ is integrable then so is

1 / f

$1/f$ . As you say, all of that is nil if the prior is unbounded. We can try to bound the likelihood instead and It seems to me that any likelihood one would use in MLE would have to be either bounded or strongly concave (en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties) both of which can be used to build a general proof. Any thoughts?

Luiz Max Carvalho

Sorry, I missed that, yeah that looks like it'd make an interesting attempt!

InfProbSciX