Wie hängt die inverse Gammaverteilung mit

8

Vorausgesetzt, dass die hintere Schätzung von einer normalen Wahrscheinlichkeit und eines inversen Gammas vor σ 2 ist:σ2σ2

σ2IG(α+n2,β+i=1n(yiμ)22)

das ist äquivalent zu

σ2IG(n2,nσ22)

da eine schwache , bevor sie auf σ 2 entfernt & alpha und β aus Gleichung 1:IG(α,β)σ2αβ

σ2IG(n2,i=1n(yiμ)22)

Es ist offensichtlich, dass die hintere Schätzung von eine Funktion der Stichprobengröße und der Summe der Quadrate der Wahrscheinlichkeit ist. Aber was bedeutet das? Es gibt eine Ableitung auf Wikipedia , der ich nicht ganz folge.σ2

Ich habe folgende Fragen

  1. Kann ich zu dieser zweiten Gleichung gelangen, ohne die Bayes-Regel aufzurufen? Ich bin gespannt, ob den Parametern einer IG etwas inhärent ist, das sich auf den Mittelwert und die Varianz bezieht, unabhängig von der normalen Wahrscheinlichkeit.
  2. Kann ich die Stichprobengröße und die Standardabweichung von einer früheren Studie verwenden, um einen informierten Prior auf zu schätzen und den Prior dann mit neuen Daten zu aktualisieren? Dies scheint unkompliziert zu sein, aber ich kann keine Beispiele dafür oder Gründe dafür finden, warum dies ein legitimer Ansatz wäre - außer dem, was im hinteren Bereich zu sehen ist.σ2
  3. Gibt es ein beliebtes Wahrscheinlichkeits- oder Statistiklehrbuch, das ich zur weiteren Erklärung heranziehen kann?
Abe
quelle
Meinen Sie nicht eine inverse Gamma-Wahrscheinlichkeit und eine inverse Gamma-Wahrscheinlichkeit?
Neil G
1
Zunächst sehe ich in Ihrer Frage einige Missverständnisse: Aus dem Bayes-Theorem erhalten Sie keine hintere Schätzung, sondern die gesamte hintere Verteilung. Der zweite Punkt ist, dass diese hintere Verteilung nicht von "der Summe der Quadrate der Wahrscheinlichkeit" abhängt. Es hängt einfach von der Größe Ihrer Stichprobe (nämlich n) und den Stichprobenwerten ab, was völlig natürlich und vernünftig ist. Diese Abhängigkeiten wirken sich auf Ihre posterioren Schätzungen von Mittelwert, Varianz usw. aus. Beispielsweise ist Ihr posteriorer Mittelwert des Varianzparameters gleich
1n2(yiμ)2
Tomas
@thomas mit Schätzung meinte ich Schätzung der posterioren Verteilung;. Ist die Summe der Quadrate im posterioren Bereich nicht genau die gleiche Berechnung wie der ss-Term im Normalfall?
Abe
1
@Abe Ich habe kürzlich eine Frage zu Ihrer Frage Nr. 1 gestellt (und beantwortet). 2. Es wird der SD und der SD der SD gegeben, wie das entsprechende Gamma vor der Genauigkeit einer Normalverteilung berechnet wird: Die Frage ist hier: stats.stackexchange.com/questions/41187/…
Rasmus Bååth

Antworten:

9

Ich denke, es ist richtiger, von der posterioren Verteilung Ihres Parameters zu sprechen, als von seiner posterioren Schätzung. Zur Klarheit der Notationen werde ich im Folgenden die Primzahl in σ 2 fallen lassen .σ2σ2

Angenommen, als verteilt N ( 0 , σ 2 ) , - I fallen μ für jetzt ein heuristisches Beispiel zu machen - und 1 / σ 2 = σ - 2 verteilt sich wie Γ ( α , β ) und ist unabhängig von X .XN(0,σ2)μ1/σ2=σ2Γ(α,β)X

Das PDF von mit σ - 2 ist Gaußsch, dhXσ2

f(x|σ2)=12πσ2exp(x22σ2).

(X,σ2)f(x,σ2)f(x|σ2)g(σ2)σ2

f(x,σ2)=12πσ2exp(x22σ2)βαΓ(α)exp(βσ2)1σ2(α1).

Wir können ähnliche Begriffe gruppieren und wie folgt umschreiben

f(x,σ2)σ2(α1/2)exp(σ2(β+x2/2)).

σ2σ2xf(x,σ2)/f(x)f(σ2|x)f(x,σ2)Γσ2f(x)

f(x)(β+x2/2)(α+1/2),

Durch Teilen erhalten wir also

f(σ2|x)(β+x2/2)(σ2(β+x2/2))α1/2exp(σ2(β+x2/2))(σ2(β+x2/2))α1/2exp(σ2(β+x2/2)).

Γ(α+1/2,β+x2/2)

((x1,σ12),...,(xn,σn2))σi2f(x1,...,xn)f(σ12,...,σn2|x1,...,xn)

f(σ12,...,σn2|x1,...,xn)i=1n(σi2(β+xi2/2))α1/2exp(σi2(β+xi2/2)),

Γσi2Γ

xiσ2σ2Γ(α,β)xiσ2

f(x1,...,xn,σ2)σ2(α+n/2)exp(σ2(β+12i=1nxi2)),

σ2

σ2Γαβnσ2α/βα/β2α=βσ2weil die Varianz riesig wird. Da die Werte klein sind, können Sie sie aus den obigen Gleichungen entfernen und erhalten Ihre Gleichung 3.

ΓS2σ2

In Bezug auf Ihre Frage 2 können Sie natürlich die in einem früheren Experiment erhaltenen Werte als Ihre Prioritäten verwenden. Da wir oben eine Parallele zwischen Bayes'scher und frequentistischer Interpretation hergestellt haben, können wir näher darauf eingehen und sagen, dass es so ist, als würde man eine Varianz aus einer kleinen Stichprobengröße berechnen und dann mehr Datenpunkte sammeln: Sie würden Ihre Schätzung der Varianz aktualisieren, anstatt sie wegzuwerfen die ersten Datenpunkte.

Zu Ihrer Frage 3. Ich mag die Einführung in die mathematische Statistik von Hogg, McKean und Craig, die normalerweise Einzelheiten zur Ableitung dieser Gleichungen enthält.

gui11aume
quelle
1

Für Frage 1 folgt die zweite Gleichung aus der Bayes-Regel, wie Sie hervorheben, und ich sehe keinen Weg, dies zu vermeiden.

Bei Frage 2 können Sie dies tun. Verwenden Sie einfach einen Prior derselben Form wie Ihre zweite Gleichung.

Bei Frage 3 würde ich etwas über exponentielle Familien suchen. Vielleicht wird jemand eine gute Ressource empfehlen.

Neil G.
quelle