Worum geht es in Bayes 'Theorem?

Was sind die Hauptideen, dh Konzepte, die mit dem Bayes-Theorem zusammenhängen ? Ich frage nicht nach Ableitungen der komplexen mathematischen Notation.

Der Satz von Bayes ist ein relativ einfaches, aber grundlegendes Ergebnis der Wahrscheinlichkeitstheorie, das die Berechnung bestimmter bedingter Wahrscheinlichkeiten ermöglicht. Bedingte Wahrscheinlichkeiten sind nur die Wahrscheinlichkeiten, die den Einfluss eines Ereignisses auf die Wahrscheinlichkeit eines anderen widerspiegeln.

In seiner bekanntesten Form heißt es einfach, dass die Wahrscheinlichkeit einer Hypothese bei Vorliegen neuer Daten ( P (H | D) , die als hintere Wahrscheinlichkeit bezeichnet wird) der folgenden Gleichung entspricht: Die Wahrscheinlichkeit der beobachteten Daten bei Vorliegen der Hypothese ( P (D | H) , als bedingte Wahrscheinlichkeit bezeichnet, multipliziert mit der Wahrscheinlichkeit, dass die Theorie wahr ist, bevor neue Beweise vorliegen ( P (H) , als vorherige Wahrscheinlichkeit von H bezeichnet, dividiert durch die Wahrscheinlichkeit, diese Daten zu sehen, Periode ( P (D ), genannt die Grenzwahrscheinlichkeit von D).

Formal sieht die Gleichung so aus:

Die Bedeutung des Bayes-Theorems beruht im Wesentlichen darauf, dass seine korrekte Verwendung ein Streitpunkt zwischen den Denkschulen über die Wahrscheinlichkeit ist. Für einen subjektiven Bayes'schen Satz (der Wahrscheinlichkeit als subjektiven Grad des Glaubens interpretiert) liefert der Bayes'sche Satz den Eckpfeiler für das Testen von Theorien, die Auswahl von Theorien und andere Praktiken, indem er ihre subjektiven Wahrscheinlichkeitsurteile in die Gleichung einfügt und damit umgeht. Für einen Frequentisten (der Wahrscheinlichkeit als einschränkende relative Häufigkeiten interpretiert ) ist diese Verwendung des Bayes-Theorems ein Missbrauch, und sie bemühen sich stattdessen, sinnvolle (nicht subjektive) Prioritäten zu verwenden (wie dies bei objektiven Bayesianern unter einer weiteren Interpretation der Wahrscheinlichkeit der Fall ist).

Es tut mir leid, aber hier scheint es einige Verwirrung zu geben: Bayes 'Theorem steht nicht zur Diskussion der nie endenden Bayesianisch- Frequentistischen Debatte. Es ist ein Theorem, das mit beiden Denkrichtungen übereinstimmt (vorausgesetzt, es stimmt mit Kolmogorovs Wahrscheinlichkeitsaxiomen überein).

Natürlich ist der Satz von Bayes der Kern der Bayes'schen Statistik, aber der Satz selbst ist universell. Der Konflikt zwischen Frequentisten und Bayesianern hängt hauptsächlich davon ab, wie frühere Verteilungen definiert werden können oder nicht.

Wenn es sich also um die Frage nach dem Bayes-Theorem handelt (und nicht um die Bayes-Statistik):

Der Satz von Bayes definiert, wie man bestimmte bedingte Wahrscheinlichkeiten berechnen kann. Stellen Sie sich zum Beispiel vor, dass Sie wissen: die Wahrscheinlichkeit, dass jemand das Symptom A hat, vorausgesetzt, er hat die Krankheit X p (A | X); die Wahrscheinlichkeit, dass jemand im Allgemeinen an der Krankheit X p (X) leidet; die Wahrscheinlichkeit, dass jemand im Allgemeinen das Symptom A p (A) hat. Mit diesen 3 Informationen können Sie die Wahrscheinlichkeit berechnen, dass jemand an der Krankheit X leidet, vorausgesetzt, er hat das Sympotm A p (X | A).

$P(A|B)$$P(B|A)$

$P(B|A)$$A$$P(\mbox{dice lands six})$$P(\mbox{dice lands six}|\mbox{dice lands even})$

Sie können den Satz von Bayes wie folgt selbst ableiten. Beginnen Sie mit der Verhältnisdefinition einer bedingten Wahrscheinlichkeit:

$P(B|A) = \frac{P(AB)}{P(A)}$

$P(AB)$$A$$B$$P(A)$$A$

$P(A|B)$

$P(A|B) = \frac{P(BA)}{P(B)}$

$P(AB) = P(BA)$$AB = BA$

$P(A|B) = \frac{P(AB)}{P(B)}$

$P(B|A)$$P(AB)$

$P(AB) = P(A|B)P(B)$

und hey presto:

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

Wenn Sie eine bedingte Wahrscheinlichkeit auf diese Weise drehen möchten, betrachten Sie das übliche Beispiel, bei dem Sie versuchen, auf die Wahrscheinlichkeit einer Erkrankung zu schließen, wenn ein Symptom vorliegt. Wir wissen also, dass ein Symptom vorliegt - wir können es sehen Sie es - aber wir können nicht sicher sein, ob sie eine Krankheit haben und daraus schließen müssen. Ich beginne mit der Formel und arbeite zurück.

$P(\mbox{disease}|\mbox{symptom}) = \frac{P(\mbox{symptom}|\mbox{disease})P(\mbox{disease})}{P(\mbox{symptom})}$

Um das herauszufinden, müssen Sie die vorherige Wahrscheinlichkeit des Symptoms, die vorherige Wahrscheinlichkeit der Krankheit (dh wie häufig oder selten das Symptom und die Krankheit sind) und auch die Wahrscheinlichkeit kennen, dass jemand ein Symptom hat, vorausgesetzt, wir wissen, dass jemand eines hat eine Krankheit (zB durch teure zeitraubende Labortests).

Es kann viel komplizierter werden, z. B. wenn Sie mehrere Krankheiten und Symptome haben, aber die Idee ist dieselbe. Noch allgemeiner erscheint der Satz von Bayes oft, wenn Sie eine Wahrscheinlichkeitstheorie der Beziehungen zwischen Ursachen (z. B. Krankheiten) und Auswirkungen (z. B. Symptome) haben und rückwärts argumentieren müssen (z. B. wenn Sie einige Symptome sehen, von denen Sie sprechen möchten) die zugrunde liegende Krankheit schließen).

Es gibt zwei Hauptgedankensrichtungen: die Statistik, die frequentistische und die Bayes'sche .

Der Bayes-Satz hat mit letzterem zu tun und kann als ein Weg gesehen werden, zu verstehen, wie die Wahrscheinlichkeit, dass eine Theorie wahr ist, durch ein neues Beweisstück beeinflusst wird. Dies ist als bedingte Wahrscheinlichkeit bekannt. Vielleicht haben Sie wollen , betrachten dies einen Griff auf die Mathematik zu bekommen.

Lassen Sie mich Ihnen einen sehr sehr intuitiven Einblick geben. Angenommen, Sie werfen 10 Mal eine Münze und erhalten 8 Köpfe und 2 Schwänze. Die Frage, die Ihnen in den Sinn kommen würde, ist, ob diese Münze auf Köpfe ausgerichtet ist oder nicht.

Wenn Sie sich nun an konventionelle Definitionen oder den häufigeren Ansatz der Wahrscheinlichkeit halten, könnten Sie sagen, dass die Münze unvoreingenommen ist und dies ein außergewöhnliches Ereignis ist. Sie würden daher den Schluss ziehen, dass die Wahrscheinlichkeit, einen Head-Next-Wurf zu erhalten, ebenfalls 50% beträgt.

Angenommen, Sie sind Bayesianer. Sie würden tatsächlich denken, dass die Münze aufgrund der außergewöhnlich hohen Anzahl von Köpfen eine Neigung zur Kopfseite aufweist. Es gibt Methoden, um diese mögliche Verzerrung zu berechnen. Sie würden sie berechnen und dann, wenn Sie das nächste Mal die Münze werfen, würden Sie definitiv einen Kopf rufen.

Bei der Bayes'schen Wahrscheinlichkeit handelt es sich also um die Annahme, dass Sie sich auf der Grundlage der von Ihnen beobachteten Daten entwickeln. Ich hoffe das war einfach genug.

Der Satz von Bayes bezieht sich auf zwei Ideen: Wahrscheinlichkeit und Wahrscheinlichkeit. Die Wahrscheinlichkeit sagt: Bei diesem Modell sind dies die Ergebnisse. Also: Bei einer fairen Münze bekomme ich in 50% der Fälle Köpfe. Die Wahrscheinlichkeit sagt: Angesichts dieser Ergebnisse können wir dies über das Modell sagen. Also: Wenn Sie eine Münze 100 Mal werfen und 88 Köpfe erhalten (um ein vorheriges Beispiel aufzugreifen und es extremer zu machen), ist die Wahrscheinlichkeit, dass das faire Münzmodell korrekt ist, nicht so hoch.

Eines der Standardbeispiele, die zur Veranschaulichung des Bayes-Theorems verwendet werden, ist die Idee, auf eine Krankheit zu testen: Wenn Sie einen 95% genauen Test für eine Krankheit durchführen, an der 1 von 10000 der Bevölkerung leidet, und positiv testen, wie hoch die Chancen sind dass du die Krankheit hast?

Die naive Antwort ist 95%, aber dies ignoriert das Problem, dass 5% der Tests bei 9999 von 10000 Personen falsch positiv ausfallen. Ihre Wahrscheinlichkeit, an der Krankheit zu erkranken, liegt also weit unter 95%.

Mein Gebrauch der vagen Phrase "Was sind die Chancen" ist absichtlich. Verwendung der Wahrscheinlichkeits- / Wahrscheinlichkeitssprache: Die Wahrscheinlichkeit, dass der Test genau ist, beträgt 95%. Was Sie jedoch wissen möchten, ist die Wahrscheinlichkeit, dass Sie an der Krankheit leiden.

Etwas abseits des Themas: Das andere klassische Beispiel, das mit dem Bayes-Theorem in allen Lehrbüchern gelöst wird, ist das Monty-Hall-Problem: Sie sind in einer Quizshow. Es gibt einen Preis hinter einer von drei Türen. Sie wählen Tür eins. Der Gastgeber öffnet Tür drei und gibt keinen Preis preis. Sollten Sie zu Tür zwei wechseln, wenn Sie die Chance dazu haben?

Die Umformulierung der Frage gefällt mir (mit freundlicher Genehmigung des nachstehenden Verweises): Sie nehmen an einer Quizshow teil. Hinter einer von Millionen Türen steckt ein Preis. Sie wählen Tür eins. Der Gastgeber öffnet alle anderen Türen außer Tür 104632, um keinen Preis preiszugeben. Sollten Sie zur Tür 104632 wechseln?

Mein Lieblingsbuch, das den Bayes-Satz ausführlich aus Bayes-Sicht behandelt, ist "Informationstheorie, Inferenz- und Lernalgorithmen" von David JC MacKay. Es ist ein Buch von Cambridge University Press, ISBN-13: 9780521642989. Meine Antwort ist (wie ich hoffe) eine Destillation der Art von Diskussionen, die in dem Buch geführt werden. (Es gelten die üblichen Regeln: Ich habe keine Beziehung zum Autor, das Buch gefällt mir einfach).

Der Bayes-Satz in seiner offensichtlichsten Form ist einfach eine Wiederholung von zwei Dingen:

1. $P(HD|I)=P(DH|I)$
2. $P(HD|I)=P(H|I)P(D|HI)$

Also unter Verwendung der Symmetrie:

$P(D|I) \neq 0$$P(D|I)$

So, das ist es? Wie kann etwas so Einfaches so großartig sein? Wie bei den meisten Dingen "ist die Reise wichtiger als das Ziel". Der Bayes-Satz rockt aufgrund der Argumente, die dazu führen.

$P(H|I)=1-P(\overline{H}|I)$

Nun lautet die "Regel" in der deduktiven Logik: Wenn Sie eine Beziehung haben, die "A impliziert B", dann haben Sie auch "Nicht B impliziert Nicht A". Wir haben also "konsequentes Denken impliziert Bayes-Theorem". Dies bedeutet "Nicht-Bayes-Theorem impliziert nicht konsistentes Denken". Das heißt, wenn Ihr Ergebnis aus irgendeinem Grund und mit größerer Wahrscheinlichkeit nicht mit einem Bayes'schen Ergebnis übereinstimmt, argumentieren Sie inkonsistent.

Dieses Ergebnis heißt Cox-Theorem und wurde in den 1940er Jahren in der "Algebra of Probable Inference" bewiesen. Eine neuere Ableitung findet sich in der Proability-Theorie: Die Logik der Wissenschaft.

Ich mag Kevin Murphys Intro zum Bayes-Theorem http://www.cs.ubc.ca/~murphyk/Bayes/bayesrule.html

Das Zitat hier stammt aus einem Artikel der Ökonomen:

http://www.cs.ubc.ca/~murphyk/Bayes/economist.html

Die Essenz des Bayes'schen Ansatzes besteht darin, eine mathematische Regel bereitzustellen, die erklärt, wie Sie Ihre bestehenden Überzeugungen im Lichte neuer Beweise ändern sollten. Mit anderen Worten, es ermöglicht Wissenschaftlern, neue Daten mit ihrem vorhandenen Wissen oder Know-how zu kombinieren. Das kanonische Beispiel ist die Vorstellung, dass ein frühreifes Neugeborenes seinen ersten Sonnenuntergang beobachtet und sich fragt, ob die Sonne wieder aufgehen wird oder nicht. Er weist beiden möglichen Ergebnissen die gleichen vorherigen Wahrscheinlichkeiten zu und stellt dies dar, indem er einen weißen und einen schwarzen Marmor in eine Tüte legt. Am nächsten Tag, wenn die Sonne aufgeht, legt das Kind einen weiteren weißen Marmor in die Tasche. Die Wahrscheinlichkeit, dass ein Marmor, der nach dem Zufallsprinzip aus der Tüte gezogen wird, weiß ist (dh der Grad des Glaubens des Kindes an zukünftige Sonnenaufgänge), ist somit von einem halben auf zwei Drittel gesunken. Nach Sonnenaufgang am nächsten Tag, Das Kind fügt einen weiteren weißen Marmor hinzu und die Wahrscheinlichkeit (und damit der Grad des Glaubens) steigt von zwei Dritteln auf drei Viertel. Und so weiter. Allmählich ändert sich die anfängliche Überzeugung, dass die Sonne genauso wahrscheinlich wie nicht jeden Morgen aufgehen wird, so, dass nahezu sicher ist, dass die Sonne immer aufgehen wird.