Kann eine angemessene vorherige und potenzierte Wahrscheinlichkeit zu einem unangemessenen posterioren führen?

11

(Diese Frage ist von diesem Kommentar von Xi'an inspiriert .)

Es ist bekannt , dass , wenn die vorherige Verteilung π(θ) ist die richtige und die Wahrscheinlichkeit L(θ|x) ist wohldefiniert, so ist die a posteriori Verteilung π(θ|x)π(θ)L(θ|x) ist fast sicher richtig.

In einigen Fällen verwenden wir stattdessen eine temperierte oder potenzierte Wahrscheinlichkeit, die zu einem Pseudo-Posterior führt

π~(θ|x)π(θ)L(θ|x)α
für einigeα>0(dies kann beispielsweise Rechenvorteile haben).

Ist es in dieser Einstellung möglich, einen richtigen Prior, aber einen falschen Pseudo-Posterior zu haben?

Robin Ryder
quelle
2
Tatsächlich würde ich es einige Minuten später für unwahrscheinlich halten, da die Divergenz des vorherigen x-Likelihood-Produkts verringert wird, wenn das vorherige x-Likelihood ^ α-Produkt betrachtet wird ... Jede Seeschwalbe, die ins Unendliche geht, geht dort langsamer! Und Terme, die langsamer auf Null gehen, werden vom richtigen Prior gesteuert. Meine Wette ist also, dass dies unmöglich ist. (Warnung: Es ist bekannt, dass ich falsch liege!)
Xi'an
1
α>1Wenn Sie also einen Fall finden können, in demL(x | θ)ein Polynom hat Schwänze, dann können Sie möglicherweise einen falschen Pseudo-Posterior konstruieren.
Eθπ[L(x|θ)α]tαPθπ(L(x|θ)>t)Eθπ[L(x|θ)α]supt>0tαPθπ(L(x|θ)>t)
L(x|θ)
πr8
Würde dieses Argument auch für funktionieren ? Gibt es auch eine Möglichkeit zu beweisen, dass eine auf diese Weise konstruierte Wahrscheinlichkeit angemessen wäre? α<1
InfProbSciX
1
Tatsächlich ist für , da wir wissen, dass E π [ L ( x | θ ) ] < , das Supremum auf der RHS immer endlich, und für α < 1 verwendet man Ihr Jensen-Argument, um den gleichen Abzug zu ziehen. Das Argument scheitert also in dieser Hinsicht. Eine kleine Bemerkung, dass dieses Argument eine unbegrenzte Wahrscheinlichkeit L erfordert, um erfolgreich zu sein, dh P π ( L ( x | θ ) > t ) > 0 für alle t .α=1Eπ[L(x|θ)]<α<1LPπ(L(x|θ)>t)>0t
πr8
1
Richtig, für kann man keinen guten Punkt konstruieren! Ich muss sagen, ich wäre fasziniert , ein Beispiel für eine unbegrenzte Wahrscheinlichkeit zu sehen! Vielleicht wäre ein Beta-Posterior das Ergebnis einer unbegrenzten Wahrscheinlichkeit. α=1
InfProbSciX

Antworten:

7

Für α1 ist dies vielleicht ein Argument, um zu zeigen, dass es unmöglich ist, einen solchen Posterior zu konstruieren?

Wir möchten herausfinden, ob es für π~(θ|x)dθ= .

Auf der rechten Seite:

π(θ)Lα(θ|x)dθ=Eθ(Lα(θ|x))

Wenn α1 , ist xα eine konkave Funktion, also durch die Jensen-Ungleichung:

Eθ(Lα(θ|x))Eθα(L(θ|x))=m(x)α<

... where m(x) as Xi'an pointed out, is the normalising constant (the evidence).

InfProbSciX
quelle
Neat, thanks. I like that you are using the fact that for α=1 the posterior is proper.
Robin Ryder
1

It's possible to use the result in @InfProbSciX's answer to prove the result in general. Rewrite L(θx)απ(θ) as

L(θx)α1L(θx)π(θ).
If 1α2, we have the Jensen's inequality case above, since we know that L(x|θ)π(θ) is normalisable. Similarly, if 2α3, we can write
L(x|θ)αpL(x|θ)pπ(θ),
with 1p2, again falling into the same case, since we know that L(x|θ)pπ(θ) is normalisable. Now one can use (strong) induction to show the case in general.

Old comments

Not sure if this is super useful, but since I can't comment I will leave this in an answer. In addition to @InfProbSciX's excellent remark about α1, if one makes the further assumption that L(θx)Lp, then it is impossible to have a proper prior but an improper pseudo-posterior for 1<αp. For instance, if we know that the second (p-th) moment of L(θx) exists, we know it is in L2 (Lp) and hence the pseudo-posterior will proper for 0α2. Section 1 in these notes goes into a bit more detail, but unfortunately it is not clear how broad the class of, say, L10 pdfs is. I apologise if I'm speaking out of turn here, I really wanted to leave this as a comment.

Luiz Max Carvalho
quelle
1
You're right, if the likelihood function L(θ|x) is within the space Lp(πθ) - i.e. the Lp space w.r.t. the measure induced by the prior, then the posterior will be proper for 1αp. I'm totally guessing here, but I think that the space would encompass most likelihoods we can think of - I think I might have read a proof ages ago that says that if f is Riemann integrable, then its positive powers are as well. fn,nZ+ is integrable though. Theorem 1.26 for reference
InfProbSciX
@InfProbSciX, I think there might be a complete proof lurking in the shadows here. I take from your answer that α can be negative. If that is correct, then we can show that for any p>1 the pseudo-likelihood will be integrable because reciprocals of integrable functions are integrable. And if the likelihood is integrable, I argue that the posterior will be integrable because the prior is bounded, and the product of an integrable and a bounded function is integrable (math.stackexchange.com/a/56008/271610). Let me know what you think.
Luiz Max Carvalho
1
I think that you can disregard the case where α<0, as the question explicitly assumes otherwise. The integrability of Lα for any general case needs to be shown. Also, I'm not sure if the prior is always bounded, for example, the density of a Beta(0.5,0.5) wouldn't be.
InfProbSciX
@InfProbSciX, what I meant was that even if α<0 is not in the question, if your proof holds for that condition also, then we could show integrability for α>1 by leveraging the fact that if f is integrable then so is 1/f. As you say, all of that is nil if the prior is unbounded. We can try to bound the likelihood instead and It seems to me that any likelihood one would use in MLE would have to be either bounded or strongly concave (en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties) both of which can be used to build a general proof. Any thoughts?
Luiz Max Carvalho
Sorry, I missed that, yeah that looks like it'd make an interesting attempt!
InfProbSciX