Beispiel für einen Prior, der im Gegensatz zu Jeffreys zu einem nicht invarianten Posterior führt

17

Ich reposte eine "Antwort" auf eine Frage, die ich vor zwei Wochen hier gestellt hatte: Warum ist der Jeffreys Prior nützlich? Es war wirklich eine Frage (und ich hatte zu der Zeit auch nicht das Recht, Kommentare zu posten), also hoffe ich, dass es in Ordnung ist, dies zu tun:

In der obigen Verknüpfung wird diskutiert, dass das interessante Merkmal von Jeffreys Prior darin besteht, dass bei der Neuparametrisierung des Modells die resultierende posteriore Verteilung posteriore Wahrscheinlichkeiten ergibt, die den durch die Transformation auferlegten Einschränkungen entsprechen. Sprich, wie es diskutiert wird , wenn sie von der Erfolgswahrscheinlichkeit zu bewegen θ in dem Beta-Bernoulli Beispiel odds ψ=θ/(1θ) , sollte es der Fall sein , dass das eine posteriore erfüllt P(1/3θ2/3X=x)=P(1/2ψ2X=x) .

Ich wollte ein numerisches Beispiel für die Invarianz von Jeffreys erstellen, bevor ich θ in Odds ψ umwandelte , und interessanterweise das Fehlen anderer Prioritäten (z. B. Haldane, Uniform oder willkürliche).

Wenn der hintere Wert für die Erfolgswahrscheinlichkeit Beta ist (für alle vorherigen Beta-Werte, nicht nur für Jeffreys), folgt der hintere Wert der Quote einer Beta-Verteilung der zweiten Art (siehe Wikipedia) mit denselben Parametern . Dann ist es, wie im folgenden numerischen Beispiel hervorgehoben, (zumindest für mich) nicht verwunderlich, dass es für jede Beta-Prior-Wahl (Herumspielen mit alpha0_Uund beta0_U) eine Invarianz gibt , nicht nur für Jeffreys, vgl. die Ausgabe des Programms.

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

Dies bringt mich zu den folgenden Fragen:

  1. Mache ich einen Fehler?
  2. Wenn nein, gibt es ein Ergebnis, bei dem es in konjugierten Familien nicht an Invarianz mangelt, oder so etwas? (Eine schnelle Inspektion lässt mich vermuten, dass ich beispielsweise auch im Normal-Normal-Fall keine mangelnde Invarianz erzeugen könnte.)
  3. Kennen Sie ein (vorzugsweise einfaches) Beispiel , in dem wir zu tun Mangel bekommen von Invarianz?
Christoph Hanck
quelle
1
Sie benötigen keinen R-Code (den ich mit R Version 3.0.2 nicht ausführen kann), um die Invarianz zu überprüfen, da dies eine Eigenschaft der Wahrscheinlichkeit ist. Mit vorheriger Invarianz ist die Konstruktion einer Regel zur vorherigen Auswahl gemeint, die nicht von der Wahl der Parametrisierung des Stichprobenmodells abhängt.
Xi'an,
1
Ich entschuldige mich für die Unannehmlichkeiten. Es läuft mit R 3.1.2 auf meinem Computer. Wenn ich nachfassen darf, impliziert Ihr Kommentar, dass ich Zens Kommentar zu der akzeptierten Antwort, Punkt 1, von Stephane Laurent missverstanden habe ? Warum ist Jeffreys Prior nützlich? ?
Christoph Hanck

Antworten:

19

p(θ) die folgenden zwei Prozeduren

  1. pθD(θD)
  2. pψD(ψD)

und

  1. pθ(θ)pψ(ψ)
  2. pψ(ψ)pψD(ψD)

ψψθ ).

Dies ist jedoch nicht der Punkt der fraglichen Invarianz. Stattdessen stellt sich die Frage, ob bei einer bestimmten Methode zur Prioritätsbestimmung die folgenden beiden Verfahren angewendet werden:

  1. Verwenden Sie die Methode zur Bestimmung des Prior, um zu bestimmen.pθ(θ)
  2. pψ(ψ)

und

  1. pψ(ψ)

ψ

θ[0,1]ψ[0,)

θψψ

Juho Kokkala
quelle
1

Anscheinend überprüfen Sie, ob die durch die Daten verursachten Wahrscheinlichkeiten von der Parametrisierung unberührt bleiben, was nichts mit der vorherigen zu tun hat.

Wenn Sie bei der Auswahl der Prioritäten z. B. "Uniform Prior" wählen, ist das, was unter einer Parametrisierung (z. B. Beta, dh Beta (1,1)) einheitlich ist, unter einer anderen, z. B. BetaPrime (1,1), nicht einheitlich ) (das ist schief) - es ist BetaPrime (1, -1) ist einheitlich, wenn so etwas existiert.

Der Jeffreys Prior ist der einzige "Weg, Prioren zu wählen", der unter Reparametrisierung unveränderlich ist. Daher ist es weniger anmaßend als jede andere Art, Prioritäten zu wählen.

Neil G
quelle
Ich denke nicht, dass der Jeffreys Prior der einzige Invariant Prior ist. Wenn sie sich unterscheiden, sind die linken und rechten Haar-Maße beide unveränderlich.
Xi'an,
@Neil G, ich bin mir nicht sicher, ob ich deiner Argumentation folgen kann, dass ich nur die Wahrscheinlichkeit betrachte. Beim Einstecken (zB) alpha1_Jin pbetaund wird pgb2dieser Parameter sowohl durch einen vorherigen Parameter ( alpha1_J) als auch durch die Daten ( k) bestimmt, ebenso für alle anderen Parameter.
Christoph Hanck
1
(+1) Sie würden hoffen, dass die Ermittlung subjektiver Prioritäten auch parametrisierungsinvariant ist.
Scortchi
1
@Zen: ja ja, ich war zu voreilig: Haarmaße sind ein falsches Beispiel. Trotzdem frage ich mich, warum Jeffreys 'der einzig unveränderliche Prior ist ...
Xi'an
2
@ Xi'an: Wenn mein Gedächtnis mich nicht enttäuscht, gibt es in Cencov ein Theorem ( amazon.com/… ), das in gewisser Weise (?) Beweist , dass Jeffreys Prior der einzige Mann in der Stadt mit dem ist notwendige Invarianz. Sein Beweis ist für mich unzugänglich. Es verwendet die Sprache der Kategorietheorie, Funktoren, Morphismen und all das. en.wikipedia.org/wiki/Category_theory
Zen