Arithmetik zur Aktualisierung der Wahrscheinlichkeiten unter Verwendung des Bayes-Theorems

8

Dies mag eine elementare Frage sein, weshalb ich sie in Stackexchange oder Mathoverflow nicht finden konnte. Ich habe jedoch Probleme mit der Arithmetik, die mit der Aktualisierung der Wahrscheinlichkeiten unter Verwendung des Bayes-Theorems für ein Problem verbunden ist, an dem ich arbeite.

Hintergrund:

Ich versuche, zukünftige Ereignisse, für die es keine oder nur wenige Präzedenzfälle gibt, mit Wahrscheinlichkeitsprognosen zu versehen. Im Gegensatz zu den meisten Literaturstellen und Texten zu Bayes, in denen zuvor bekannte Verteilungen verwendet werden, um Wahrscheinlichkeiten für zukünftige Ereignisse innerhalb ähnlicher Parameter anzugeben, basiert meine Situation auf Expertenmeinungen, auf die nur wenige oder keine vernünftigen Verteilungen Bezug nehmen.

Beispiel:

GM kündigte an, ein neues Auto zu entwickeln, sagte aber nicht, wann es veröffentlicht werden würde. Der Produktionsleiter von KIA muss wissen, wann er bereit ist, es freizugeben, damit er sein neues Auto ungefähr zur gleichen Zeit freigeben kann.

KIA weiß, dass das neue Auto die folgenden Komponenten benötigt, um für die Freigabe bereit zu sein: (1) Motor, (2) Getriebe, (3) Karosserie, (4) Räder und Federung. Die erfahrenen Ingenieure von KIA geben an, dass sie für ein neues Projekt wie dieses zu 90% davon überzeugt sind, dass es in zwei Jahren abgeschlossen werden kann. KIA fand auch heraus, dass GM einen Test mit dem neuen Getriebe in einem anderen SUV durchführte und es mit einer Erfolgsquote von 95% wie geplant funktionierte. Dieselben Ingenieure gaben an, dass bei diesem Getriebetest ein Auto in 70% der Fälle innerhalb dieses Zeitraums fertiggestellt werden kann.

So wie ich es habe, kann KIA an diesem Punkt die Bayes'sche Berechnung mit der ersten Stichprobe wie folgt starten:

   A = GM will release the new car in two years
   B1 = GM will successfully test a new transmission
   P(A) = Prior Probability that GM will release the new car in two years
   P(B1) = Probability that GM will successfully test a new transmission
   P(B1|A) = Likelihood that given a successful transmission test, the car will be released within 2 years

Zuweisen von Werten wie folgt

   P(A) = .9
   P(B1) = .95
   P(B1|A) = .7

P(A|B1)=P(A)P(B1|A)P(A)P(B1|A)+P(A¯)P(B1|A¯)

.9545=.9.7(.9.7)+(.1.3)

Kurz nachdem die KIA-Statistikabteilung dieses Update veröffentlicht hatte, gab GM bekannt, dass sie ihren neuen Motor getestet hatten und dass er bei allen Tests eine Erfolgsquote von 98% aufwies. Die KIA-Ingenieure gaben an, dass bei einem erfolgreichen Motortest in der Regel eine Wahrscheinlichkeit von 80% besteht, dass ein Auto pünktlich fertiggestellt wird. Sie wussten jedoch nicht, wie hoch die Wahrscheinlichkeit für die Gesamtabschlusszeit sowohl für den Motor als auch für a ist Übertragungstest war.

Die Werte für unser zweites Beweisstück, die beachtet werden sollten, sind für diesen Fall unabhängig - aber nicht in allen Fällen zum Beispiel muss der Körper nach der Suspendierung weitermachen:

   P(B2) = .98
   P(B2|A) = .8

Hier habe ich also Probleme: Ich rechne das hintere P (A | B1) arithmetisch in die Berechnung für P (A | B1, B2) ein, da die Prioritäten konstant bleiben sollten. Wie bereits erwähnt, sind einige Ereignisse in { } unabhängig, andere bedingt.B1...Bn

Ich habe den Wikipedia-Eintrag gesehen, der die Erweiterung von drei Ereignisbuchten beschreibt:

P(A|B1,B2)=P(B2|A,B1)P(B1|A)P(A)P(B2|B1)P(B1)

Was ist jedoch mit einer vierten und fünften Erweiterung?

Die meisten Bücher und Online-Ressourcen, die ich habe, zeigen nicht die Schritte zum Aktualisieren von Priors auf eine Weise, die ich unterscheiden kann. Es könnte sein, dass ich zu weit von meinen Tagen im Grundstudium entfernt bin, um es zu interpretieren, aber ich befürchte, dass ich bedeutende Erfahrung in Mengenlehre und Mathematik auf Hochschulniveau haben muss, um eine scheinbar einfache Berechnung durchführen zu können. Dieser Austausch ist der nächste, den ich finden konnte, und selbst er geht nicht durch. Die Tatsache, dass ich nach einer Woche der Suche kein grundlegendes Tutorial über die Mechanik der Aktualisierung gefunden habeDer Bayes-Satz (egal, was der Bayes-Satz ist und wie er funktioniert - es gibt mehr als genug davon) über die erste Implementierung hinaus lässt mich denken, dass es sich nicht um eine triviale Berechnung handelt. Gibt es eine einfache Möglichkeit, diese Aktualisierung ohne Mathematik auf Hochschulniveau durchzuführen?

Hinweis: Ich bin mir der Ironie bewusst, die mit der inhärenten Schwierigkeit des "Aktualisierungsproblems" WRT Bayes verbunden ist, wie Yudkowski es seit einiger Zeit tut. Ich habe vielleicht fälschlicherweise angenommen, dass diejenigen, die daran arbeiten, auf viel komplexere Iterationen verweisen, aber ich bin mir bewusst, dass dies der Fall sein könnte, wenn ich auf dieses Problem stoße.

Andrew
quelle

Antworten:

10

Ich beantworte zunächst Ihre Frage zum Aktualisieren von Ereignissen mit der "vierten und fünften Erweiterung". Wie Sie vermutet haben, ist die Arithmetik in der Tat recht einfach.

Erinnern Sie sich zunächst daran, wie der Bayes-Satz aus der Definition der bedingten Wahrscheinlichkeit abgeleitet wird:

Geben Sie hier die Bildbeschreibung ein

Durch Konditionieren auf A im Zähler können wir zu der bekannteren Form gelangen:

Geben Sie hier die Bildbeschreibung ein

Überlegen Sie nun, ob wir nicht nur B, sondern 2 oder mehr Ereignisse B_1, B_2 haben. Dazu können wir die von Ihnen zitierte Bayes-Erweiterung mit drei Ereignissen mithilfe der Kettenwahrscheinlichkeitsregel ableiten , die (aus Wikipedia) lautet:

Geben Sie hier die Bildbeschreibung ein

Für B_1 und B_2 beginnen wir mit der Definition der bedingten Wahrscheinlichkeit

Geben Sie hier die Bildbeschreibung ein

Verwenden Sie die Kettenregel sowohl für den Zähler als auch für den Nenner:

Geben Sie hier die Bildbeschreibung ein

Und einfach so haben wir die Gleichung, die Sie aus Wikipedia zitieren, neu interpretiert. Versuchen wir, ein weiteres Ereignis hinzuzufügen:

Geben Sie hier die Bildbeschreibung ein

Geben Sie hier die Bildbeschreibung ein

Das Hinzufügen eines fünften Ereignisses ist ebenso einfach (eine Übung für den Leser). Aber Sie werden sicherlich ein Muster bemerken, nämlich dass die Antwort auf die Version mit drei Ereignissen in der Antwort auf die Version mit vier Ereignissen enthalten ist, sodass wir dies wie folgt umschreiben können:

Geben Sie hier die Bildbeschreibung ein

Geben Sie hier die Bildbeschreibung ein

Oder allgemeiner die Regel für die Aktualisierung des Seitenzahns nach dem n-ten Beweisstück:

Geben Sie hier die Bildbeschreibung ein

An diesem Bruchteil interessiert Sie. Nun, Sie sprechen davon, dass dies möglicherweise nicht einfach zu berechnen ist - nicht wegen arithmetischer Schwierigkeiten, sondern wegen Abhängigkeiten innerhalb der B-Werte. Wenn wir sagen, dass jedes B unabhängig verteilt ist, wird die Aktualisierung sehr einfach:

Geben Sie hier die Bildbeschreibung ein

(Tatsächlich werden Sie feststellen, dass dies eine einfache Anwendung des Bayes-Theorems ist!) Die Komplexität dieses Bruchteils hängt davon ab, von welchem ​​der vorherigen Beweisstücke Ihr neues Beweisstück abhängt. Die Bedeutung der bedingten Abhängigkeit zwischen Ihren Variablen und Ihren Beweisstücken ist genau der Grund, warum Bayes'sche Netzwerke entwickelt wurden (tatsächlich beschreibt das Obige die Faktorisierung von Bayes'schen Netzwerken).

Lassen Sie uns nun über Ihr Beispiel sprechen. Erstens hat Ihre Interpretation des Wortes Problem ein Problem. Ihre Interpretationen von 70% bzw. 80% sind

P(B1|A) = .7
P(B2|A) = .8

Aber (gemäß Ihren Definitionen) A bedeutet, dass das Auto pünktlich fertiggestellt wird, B_1 bedeutet, dass GM das Getriebe erfolgreich testet, und B_2 bedeutet, dass es einen erfolgreichen Motortest gibt, was bedeutet, dass Sie sie rückwärts bekommen - sie sollten es sein

P(A|B1) = .7
P(A|B2) = .8

Jetzt macht das Wort Problem jedoch keinen Sinn. Hier sind die drei Probleme:

1) Sie geben Ihnen effektiv das, wonach Sie suchen: Sie sagen: "Bei diesem Getriebetest kann ein Auto in 70% der Fälle innerhalb dieses Zeitraums fertiggestellt werden" und fragen dann: "Wie hoch ist die Wahrscheinlichkeit, dass ein Auto fertiggestellt wird?" In dieser Zeit".

2) Die Beweise treiben Sie in die entgegengesetzte Richtung, die der gesunde Menschenverstand erwarten würde. Die Wahrscheinlichkeit lag bei 90%, bevor Sie von der Übertragung wussten. Wie kann das Wissen über einen erfolgreichen Test sie auf 70% senken?

3) Es gibt einen Unterschied zwischen einer "95% Erfolgsrate" und einer 95% igen Wahrscheinlichkeit, dass ein Test erfolgreich war. Die Erfolgsrate kann eine Menge Dinge bedeuten (zum Beispiel, welcher Anteil eines Teils nicht bricht), was es zu einer technischen Frage über die Qualität des Teils macht, nicht zu einer subjektiven Bewertung von "Wie sicher sind wir, ob der Test erfolgreich war?" Stellen Sie sich als anschauliches Beispiel vor, wir sprachen von einem kritischen Teil eines Raketenschiffs, das eine Chance von mindestens 99,999% benötigt, während eines Fluges zu arbeiten. Wenn Sie sagen "Das Stück bricht 20% der Zeit", bedeutet dies nicht, dass der Test mit einer Wahrscheinlichkeit von 80% erfolgreich war und Sie die Rakete daher nächste Woche mit einer Wahrscheinlichkeit von 80% starten können. Vielleicht dauert die Entwicklung und Behebung des Teils 20 Jahre - es gibt keine Möglichkeit, anhand der Informationen, die Sie erhalten , zu wissen .

Aus diesen Gründen ist das Problem sehr schlecht formuliert. Wie ich oben angedeutet habe, ist die Arithmetik bei der Aktualisierung auf der Grundlage mehrerer Ereignisse recht einfach. In diesem Sinne hoffe ich, dass ich Ihre Frage beantwortet habe.

ETA: Aufgrund Ihrer Kommentare würde ich sagen, dass Sie die Frage von Grund auf überarbeiten sollten. Sie sollten auf jeden Fall die Idee der 95% / 98% "Erfolgsrate" loswerden, die in diesem Zusammenhang eine technische Frage und keine Bayes'sche Statistikfrage ist. Zweitens ist die Schätzung von "Wir sind zu 70% zuversichtlich, da dieser Teil funktioniert, dass das Auto in zwei Jahren fertig sein wird" eine hintere Wahrscheinlichkeit, kein Beweis; Sie können es nicht verwenden, um das zu aktualisieren, was Sie bereits haben.

In der von Ihnen beschriebenen Situation benötigen Sie alle vier Teile, um die Frist einzuhalten. Am klügsten wäre es also, einfach zu sagen: "Wie hoch ist die Wahrscheinlichkeit, dass jedes Teil in zwei Jahren funktioniert?" Dann nehmen Sie das Produkt dieser Wahrscheinlichkeiten (unter der Annahme der Unabhängigkeit) und haben die Wahrscheinlichkeit, dass das Ganze in zwei Jahren funktionieren wird.

Wenn Sie zurücktreten, klingt es so, als würden Sie tatsächlich versuchen, mehrere subjektive Vorhersagen zu einer zu kombinieren. In diesem Fall würde ich empfehlen, Ihre Ingenieure zu entlassen. Warum? Weil sie Ihnen sagen, dass sie zu 90% zuversichtlich sind, dass es in zwei Jahren fertig sein wird, und dann, nachdem sie von einem erfolgreichen Test der Übertragung erfahren haben, ihre Schätzungen auf 70% herabgestuft haben. Wenn das das Talent ist, mit dem wir arbeiten, hilft uns keine Bayes'sche Statistik :-)

Ernsthafter - vielleicht könnte ich Ihnen weitere Ratschläge geben, wenn Sie die Art des Problems genauer kennen (was wahrscheinlich so etwas wie die Kombination von P (A | B1) und P (A | B2) ist).

David Robinson
quelle
Dank dessen hilft es, den Schwierigkeitsgrad zu klären, mit dem ich arbeite. Für das, was es wert ist, habe ich das Problem so entworfen, dass möglicherweise ein Problem vorliegt. In Bezug auf den Wortlaut des Problems: Jedes P (B_n | A) soll unabhängig von der vorherigen Wahrscheinlichkeit sein. Wenn GM anhand des Beispiels eine bestimmte Komponente fertigstellt, besteht für die Ingenieure die Wahrscheinlichkeit, dass das Fahrzeug unabhängig von anderen Komponenten pünktlich fertiggestellt wird.
Andrew
Ich bin mir nicht ganz sicher, was du meinst - das Problem mit dem Wort Problem, das du gibst, ist nicht der Schwierigkeitsgrad, sondern der Wortlaut. Ist das ein ursprüngliches Problem oder eine Aufgabe?
David Robinson
Verzeihen Sie mir - ich passe mich an die Umschalttaste bei Absätzen in Kommentaren an. Wie ich in der Bearbeitung erwähnt habe, ist es mein eigenes Beispiel, das, wie Sie erwähnt haben, möglicherweise nur schlecht formuliert ist. Die Mengen, mit denen ich arbeite, sind in Bezug auf ihre Datenquelle normalerweise nicht zusammenhängend. Daher muss ich häufig feststellen, wie sich ein neues Datenelement, das nicht unbedingt auf andere Daten aus derselben Menge oder aus derselben Gruppe stützt, auf eine Hypothese auswirkt, weshalb Ich habe es so geschrieben wie ich. Stellen Sie sich im obigen Beispiel vor, dass die Ingenieure eine Wahrscheinlichkeit für die Gesamtvervollständigung haben, basierend auf jeder Komponente unabhängig.
Andrew
Siehe Änderungen. Sind Sie sicher, dass sie eine Schätzung des Gesamtabschlusses basierend auf jeder Komponente unabhängig haben? Oder haben sie eine Schätzung der Fertigstellung dieser Komponente nach dem erfolgreichen Test?
David Robinson
Wie Sie erwähnt haben, scheint es, dass ich versuche, P (A | B1) mit P (A | B2), P (A | B3) ... P (A | Bn) zu aktualisieren. Wenn Sie es vorziehen, können wir diese Diskussion von Kommentaren per E-Mail entfernen. [email protected]
Andrew
0

Es gibt viele Möglichkeiten, dieses Ergebnis zu erweitern. Die allgemeine Form ist, dass Es gibt viele Möglichkeiten, sowohl Zähler als auch Nenner zu schreiben. Ihre Formulare geben zwei Beispiele (vorausgesetzt, und sind dasselbe). Natürlich müssen Sie für ein bestimmtes Problem die LHS formulieren, indem Sie die RHS in Mengen schreiben, die Sie tatsächlich kennen. Ob dies für Ihr spezielles Problem möglich ist, ist auf dieser Website wahrscheinlich eine spezifischere Frage wert. B2C

P(A|B,C,D...)=P(A,B,C,D...)P(B,C,D,...)
B2C

Wenn die Variablen ( ) usw. stetig sind, wird die Berechnung des Seitenzahns in den meisten Fällen tatsächlich viel komplizierter, und es sind mathematische / statistische Techniken auf Hochschulniveau erforderlich.A,B,C,D

Gast
quelle