Bayesianische Aktualisierung - Beispiel für das Werfen von Münzen

Ich habe eine Frage zur Bayes'schen Aktualisierung. Im Allgemeinen bezieht sich die Bayes'sche Aktualisierung auf den Prozess des Erhaltens des Seitenzahns aus einer vorherigen Glaubensverteilung.

Alternativ könnte man den Begriff so verstehen, dass der hintere Teil des ersten Schritts als vorherige Eingabe für die weitere Berechnung verwendet wird.

Das Folgende ist ein einfaches Berechnungsbeispiel. Methode a ist die Standardberechnung. Methode b verwendet die hintere Ausgabe als Eingabe, bevor die nächste hintere Ausgabe berechnet wird.

Mit Methode a erhalten wir P (F | HH) = 0,2. Unter Verwendung von Methode b ergibt sich P (F | HH) = 0,05. Meine Frage ist, inwieweit Methode b ein gültiger Ansatz ist.

---

Problem: Sie werfen zweimal eine Münze und erhalten 2 Köpfe. Wie groß ist die Wahrscheinlichkeit, dass die Münze fair ist, dh ?$Pr(Fair\ coin| HH)$

Nun zum ersten Wurf: $Pr(Fair\ coin| H) = \frac{Pr(Head|Fair)\cdot P(Fair)}{Pr(Head|Fair) \cdot P(Fair)+Pr(Head|Biased) \cdot P(Biased)} = \frac{Pr(H|F)\cdot P(F)}{P(H)} \quad\quad (1)$

Unter der Annahme, dass der vorherige Glaube P (fair) = 0,5 ist, möchten Sie P (F | H) für den ersten Wurf finden

Nachfolgend finden Sie die Berechnung für die Zwischenschritte:

$P(H|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {1 \choose 1} 0.5^{1}(0.5)^{0}= 0.5$

$P(H)= P(H|F) \cdot P(F)+ P(H|Biased) \cdot P(Biased)=(0.5 \cdot 0.5) +(1 \cdot 0.5) = 0.75$

(Hinweis: P (H | voreingenommen) = 1, da unter der Annahme eines extremen Beispiels mit Köpfen auf beiden Seiten der Münze die Wahrscheinlichkeit, Köpfe mit einer voreingenommenen Münze zu erhalten, = 1 ist (erleichtert die Berechnung))

Wenn wir also (1) einstecken, erhalten wir:

$Pr(F| H) =\frac{Pr(H|F)\cdot P(F)}{P(H)} = \frac{0.5 \cdot 0.5}{0.75} = 0.33$

---

Jetzt werfen wir die Münze erneut und erhalten ein weiteres H. Um zu berechnen , müssen wir$Pr(F| HH)$

a) Verwenden Sie weiterhin P (Fair) = 0,5

$Pr(F|HH) = \frac{Pr(HH|F)\cdot P(F)}{Pr(HH|F) \cdot P(F)+Pr(HH|Biased) \cdot P(Biased)} = \frac{Pr(HH|F)\cdot P(F)}{P(HH)} \quad\quad (2)$

$P(HH|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {2 \choose 2} 0.5^{2}(0.5)^{0}= 0.25$

$P(HH)= P(HH|F) \cdot P(F)+ P(HH|Biased) \cdot P(Biased)=(0.25 \cdot 0.5) +(1 \cdot 0.5) = 0.625$

Wenn Sie also (2) , ist $Pr(F|HH) =\frac{Pr(HH|F)\cdot P(F)}{P(HH)} = \frac{0.25 \cdot 0.5}{0.625} = 0.2$

---

Was ist alternativ, wenn wir mit verwenden$Pr(F| HH)$

b) unsere aktualisierte Überzeugung P (fair) = 0,33, die wir im ersten Schritt von Pr (F | H) erhalten haben

In diesem Fall,

$P(HH|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {2 \choose 2} 0.33^{2}(1-0.33)^{0}= 0.1089$

$P(HH)= P(HH|F) \cdot P(F)+ P(HH|Biased) \cdot P(Biased)=(0.1089 \cdot 0.33) +(1 \cdot 0.67) = 0.705937$

Wenn Sie also (2) , ist $Pr(F|HH) =\frac{Pr(HH|F)\cdot P(F)}{P(HH)} = \frac{0.1089 \cdot 0.33}{0.705937} = 0.05091$

---

Mit Methode a erhalten wir P (F | HH) = 0,2. Unter Verwendung von Methode b ergibt sich P (F | HH) = 0,05. Meine Frage ist, inwieweit Methode b ein gültiger Ansatz ist.

Ihr Ansatz b) ist falsch: sowohl die Einzelschrittaktualisierung , bei der alle Daten zusammen verwendet werden, um den Prior zu aktualisieren und zum Posterior zu gelangen, als auch die Bayes'sche sequentielle (auch als rekursive bezeichnete ) Aktualisierung , bei der die Daten einzeln verwendet werden Um einen Posterior zu erhalten, der der Prior der aufeinanderfolgenden Iteration wird, muss genau das gleiche Ergebnis erzielt werden. Dies ist eine der Säulen der Bayes'schen Statistik: Konsistenz .

Ihr Fehler ist einfach: Sobald Sie den Prior mit dem ersten Beispiel (dem ersten "Kopf") aktualisiert haben, müssen Sie nur noch ein Beispiel in Ihre Wahrscheinlichkeit einbeziehen, um den neuen Prior zu aktualisieren. In Formeln:

$$P(F|HH) =\frac{P(H|H,F)P(F|H)}{P(H|H)}$$

Diese Formel ist nur der Satz von Bayes, der angewendet wird, nachdem das erste Ereignis "Head" bereits stattgefunden hat: Da bedingte Wahrscheinlichkeiten selbst Wahrscheinlichkeiten sind, gilt der Satz von Bayes auch für Wahrscheinlichkeiten, die an das Ereignis "Head" konditioniert sind, und es gibt nichts mehr zu beweisen . Ich habe jedoch festgestellt, dass die Leute dieses Ergebnis manchmal nicht für selbstverständlich halten, daher gebe ich einen etwas langwierigen Beweis.

$$P(F|HH) =\frac{P(HH|F)P(F)}{P(HH)}= \frac{P(H|H,F)P(H|F)P(F)}{P(HH)}$$

durch die Kettenregel der bedingten Wahrscheinlichkeiten. Wenn Sie dann Zähler und Nenner mit multiplizieren , erhalten Sie$P(H)$

$$\frac{P(H|H,F)P(H|F)P(F)}{P(HH)}=\frac{P(H|H,F)P(H|F)P(F)P(H)}{P(HH)P(H)}=\frac{P(H|H,F)P(H)}{P(HH)}\frac{P(H|F)P(F)}{P(H)}=\frac{P(H|H,F)}{P(H|H)}\frac{P(H|F)P(F)}{P(H)}=\frac{P(H|H,F)P(F|H)}{P(H|H)}$$

wo ich im letzten Schritt gerade den Satz von Bayes angewendet habe. Jetzt:

$$P(H|H,F)= P(H|F)=0.5$$

Dies ist offensichtlich: Unter der Bedingung, dass die Münze fair (oder voreingenommen) ist, modellieren wir die Münzwürfe als iid. Wenn wir dieselbe Idee auf den Nenner anwenden, erhalten wir:

$$P(H|H)= P(H|F,H)P(F|H)+P(H|B,H)P(B|H)=P(H|F)P(F|H)+P(H|B)P(B|H)=0.5\cdot0.\bar{3}+1\cdot0.\bar{6}$$

Schließlich:

$$P(F|HH) =\frac{P(H|H,F)P(F|H)}{P(H|H)}=\frac{0.5\cdot0.\bar{3}}{0.5\cdot0.\bar{3}+1\cdot0.\bar{6}}=0.2$$

QED

---

Das war's: Viel Spaß mit der Bayes'schen sequentiellen Aktualisierung, sie ist in vielen Situationen sehr nützlich! Wenn Sie mehr wissen möchten, gibt es im Internet viele Ressourcen: Das ist ziemlich gut.