Kombinieren von Wahrscheinlichkeiten / Informationen aus verschiedenen Quellen

Nehmen wir an, ich habe drei unabhängige Quellen, von denen jede Vorhersagen für das Wetter von morgen macht. Der erste sagt, dass die Regenwahrscheinlichkeit morgen 0 ist, der zweite sagt, dass die Wahrscheinlichkeit 1 ist und der letzte sagt, dass die Wahrscheinlichkeit 50% ist. Ich würde gerne die Gesamtwahrscheinlichkeit bei diesen Informationen erfahren.

Wenn ich den Multiplikationssatz für unabhängige Ereignisse anwende, erhalte ich 0, was nicht korrekt zu sein scheint. Warum ist es nicht möglich, alle drei zu multiplizieren, wenn alle Quellen unabhängig sind? Gibt es eine bayesianische Möglichkeit, die vorherige Version zu aktualisieren, wenn ich neue Informationen erhalte?

Hinweis: Dies sind keine Hausaufgaben, über die ich nachgedacht habe.

Sie fragen nach drei Dingen: (a) wie man mehrere Prognosen kombiniert, um eine einzige Prognose zu erhalten, (b) ob der Bayes'sche Ansatz hier verwendet werden kann und (c) wie man mit Nullwahrscheinlichkeiten umgeht.

Das Kombinieren von Prognosen ist eine gängige Praxis . Wenn Sie mehrere Prognosen haben, als wenn Sie den Durchschnitt dieser Prognosen bilden, sollte die resultierende kombinierte Prognose hinsichtlich der Genauigkeit besser sein als jede einzelne Prognose. Um sie zu mitteln, können Sie einen gewichteten Durchschnitt verwenden, bei dem die Gewichtung auf inversen Fehlern (dh Genauigkeit) oder auf dem Informationsgehalt basiert . Wenn Sie Kenntnisse über die Zuverlässigkeit jeder Quelle hätten, könnten Sie Gewichte zuweisen, die proportional zur Zuverlässigkeit jeder Quelle sind, sodass zuverlässigere Quellen einen größeren Einfluss auf die endgültige kombinierte Vorhersage haben. In Ihrem Fall haben Sie keine Kenntnis über deren Zuverlässigkeit, sodass jede Prognose das gleiche Gewicht hat und Sie das einfache arithmetische Mittel der drei Prognosen verwenden können

$$0\%\times.33+50\%\times.33+100\%\times.33 = (0\%+50\%+100\%)/3=50\%$$

Wie in Kommentaren von @AndyW und @ArthurB vorgeschlagen. Neben dem einfachen gewichteten Mittelwert stehen weitere Methoden zur Verfügung. Viele solcher Methoden sind in der Literatur über die Mittelwertbildung von Expertenprognosen beschrieben, mit denen ich vorher nicht vertraut war, also danke Jungs. Bei der Mittelung von Expertenprognosen möchten wir manchmal korrigieren, dass Experten dazu neigen, auf den Mittelwert zurückzugehen (Baron et al., 2013) oder ihre Prognosen extremer zu machen (Ariely et al., 2000; Erev et al., 1994). Um dies zu erreichen, könnte man Transformationen einzelner Vorhersagen , z. B. Logit- Funktion$p_i$

$$\mathrm{logit}(p_i) = \log\left( \frac{p_i}{1-p_i} \right) \tag{1}$$

Chancen auf die te Potenz$a$

$$g(p_i) = \left( \frac{p_i}{1-p_i} \right)^a \tag{2}$$

wobei oder allgemeinere Transformation der Form$0 < a < 1$

$$t(p_i) = \frac{p_i^a}{p_i^a + (1-p_i)^a} \tag{3}$$

Wobei, wenn keine Transformation angewendet wird, wenn a > 1 einzelne Vorhersagen extremer gemacht werden, wenn 0 < a < 1 Vorhersagen weniger extrem gemacht werden, was in der folgenden Abbildung dargestellt ist (siehe Karmarkar, 1978; Baron et al., 2013) ).$a=1$$a>1$$0 < a<1$

Nach solchen Transformationen werden Prognosen gemittelt (unter Verwendung des arithmetischen Mittels, des Medians, des gewichteten Mittels oder einer anderen Methode). Wenn die Gleichungen (1) oder (2) verwendet wurden, müssen die Ergebnisse mit inversem Logit für (1) und inversen Quoten für (2) rücktransformiert werden . Alternativ kann der geometrische Mittelwert verwendet werden (siehe Genest und Zidek, 1986; vgl. Dietrich und List, 2014).

$$\hat p = \frac{ \prod_{i=1}^N p_i^{w_i} }{ \prod_{i=1}^N p_i^{w_i} + \prod_{i=1}^N (1 - p_i)^{w_i} } \tag{4}$$

oder Ansatz von Satopää et al. (2014)

$$\hat p = \frac{ \left[ \prod_{i=1}^N \left(\frac{p_i}{1-p_i} \right)^{w_i} \right]^a }{ 1 + \left[ \prod_{i=1}^N \left(\frac{p_i}{1-p_i} \right)^{w_i} \right]^a } \tag{5}$$

wo bin Gewichte. In den meisten Fällen werden gleiche Gewichte w i = 1 / N verwendet, es sei denn, es liegen a priori Informationen vor, die eine andere Wahl nahelegen. Solche Methoden werden bei der Mittelwertbildung von Expertenprognosen verwendet, um Unter- oder Überkonfidenz zu korrigieren. In anderen Fällen sollten Sie überlegen, ob eine Transformation von Prognosen in mehr oder weniger extreme Prognosen gerechtfertigt ist, da die daraus resultierende aggregierte Schätzung die Grenzen überschreiten kann, die durch die niedrigste und die größte Einzelprognose gekennzeichnet sind.$w_i$$w_i = 1/N$

Wenn Sie a priori über die Regenwahrscheinlichkeit Bescheid wissen, können Sie den Bayes-Satz anwenden, um die Vorhersagen unter Berücksichtigung der a priori Regenwahrscheinlichkeit auf ähnliche Weise wie hier beschrieben zu aktualisieren . Es gibt auch einen einfachen Ansatz , die angewandt werden können, dh berechnen gewichtet Durchschnitt Ihrer Prognosen (wie oben beschrieben) , wo frühere Wahrscheinlichkeit π als zusätzlicher Datenpunkt mit einem gewissen vorgegebenen Gewicht behandelt w π wie in diesem IMDB Beispiel (siehe auch Quelle oder hier und hier zur Diskussion, vgl. Genest und Schervish, 1985), dh$p_i$$\pi$$w_{\pi}$

$$\hat p = \frac{ \left(\sum_{i=1}^N p_i w_i \right) + \pi w_{\pi} }{ \left(\sum_{i=1}^N w_i \right) + w_{\pi} } \tag{6}$$

Aus Ihrer Frage geht jedoch nicht hervor, dass Sie von vornherein über Ihr Problem Bescheid wissen. Daher würden Sie wahrscheinlich von vornherein eine einheitliche Regenwahrscheinlichkeit von annehmen, und dies ändert sich im Falle des von Ihnen angegebenen Beispiels nicht wirklich.$50\%$

Für den Umgang mit Nullen sind verschiedene Ansätze möglich. Zuerst sollten Sie bemerken, dass eine Regenwahrscheinlichkeit von kein wirklich verlässlicher Wert ist, da es unmöglich ist, dass es regnen wird. Ähnliche Probleme treten häufig bei der Verarbeitung natürlicher Sprache auf, wenn Sie in Ihren Daten einige Werte nicht beachten, die möglicherweise auftreten können (z. B. Sie zählen die Häufigkeit von Buchstaben, und in Ihren Daten treten einige ungewöhnliche Buchstaben überhaupt nicht auf). In diesem Fall ist der klassische Schätzer für die Wahrscheinlichkeit, dh$0\%$

$$p_i = \frac{n_i}{\sum_i n_i}$$

Wobei eine Anzahl von Vorkommen des i- ten Werts (von d Kategorien) ist, ergibt sich p i = 0, wenn n i = 0 ist . Dies wird als Nullfrequenzproblem bezeichnet . Für solche Werte wissen Sie , dass ihre Wahrscheinlichkeit ungleich Null ist (sie existieren!), Daher ist diese Schätzung offensichtlich falsch. Es gibt auch ein praktisches Problem: Multiplizieren und Dividieren mit Nullen führt zu Nullen oder undefinierten Ergebnissen, sodass der Umgang mit Nullen problematisch ist.$n_i$$i$$d$$p_i = 0$$n_i = 0$

Die einfache und häufig angewendete Lösung besteht darin, Ihren Zählungen ein konstantes hinzuzufügen , damit$\beta$

$$p_i = \frac{n_i + \beta}{(\sum_i n_i) + d\beta}$$

Die gemeinsame Wahl für ist 1 , das heißt einheitliche Anwendung vor , basierend auf dem Laplaceschen Rechtsnachfolge , 1 / 2 für die Krichevsky-Trofimov Schätzung oder 1 / d für Schürmann-Grassberger (1996) Schätzer. Beachten Sie jedoch, dass Sie in Ihrem Modell (frühere) Informationen anwenden, die nicht den Daten entsprechen, so dass das Modell einen subjektiven Bayes'schen Geschmack erhält. Bei diesem Ansatz müssen Sie sich an die getroffenen Annahmen erinnern und diese berücksichtigen. Die Tatsache, dass wir stark a priori haben$\beta$$1$$1/2$$1/d$Das Wissen, dass es in unseren Daten keine Nullwahrscheinlichkeiten geben sollte, rechtfertigt den Bayes'schen Ansatz. In Ihrem Fall haben Sie keine Häufigkeiten, sondern Wahrscheinlichkeiten. Sie würden also einen sehr kleinen Wert hinzufügen , um Nullen zu korrigieren. Beachten Sie jedoch, dass dieser Ansatz in einigen Fällen schwerwiegende Folgen haben kann (z. B. beim Umgang mit Protokollen ). Daher sollte er mit Vorsicht angewendet werden.

---

Schurmann, T. und P. Grassberger. (1996). Entropieschätzung von Symbolsequenzen. Chaos, 6, 41-427.

Ariely, D., Tung Au, W., Bender, RH, Budescu, DV, Dietz, CB, Gu, H., Wallsten, TS und Zauberman, G. (2000). Die Auswirkungen der Mittelung subjektiver Wahrscheinlichkeitsschätzungen zwischen und innerhalb von Richtern. Journal of Experimental Psychology: Applied, 6 (2), 130.

Baron, J., Mellers, BA, Tetlock, PE, Stone, E. und Ungar, LH (2014). Zwei Gründe, um aggregierte Wahrscheinlichkeitsprognosen extremer zu machen. Decision Analysis, 11 (2), 133-145.

Erev, I., Wallsten, TS und Budescu, DV (1994). Gleichzeitiges Über- und Untervertrauen: Die Rolle von Fehlern in Beurteilungsprozessen. Psychologische Überprüfung, 101 (3), 519.

Karmarkar, US (1978). Subjektiv gewichteter Nutzen: Eine beschreibende Erweiterung des erwarteten Gebrauchsmusters. Organisationsverhalten und menschliche Leistung, 21 (1), 61-72.

Turner, BM, Steyvers, M., Merkle, EC, Budescu, DV und Wallsten, TS (2014). Prognoseaggregation durch Neukalibrierung. Maschinelles Lernen, 95 (3), 261-289.

Genest, C. und Zidek, JV (1986). Wahrscheinlichkeitsverteilungen kombinieren: eine Kritik und eine kommentierte Bibliographie. Statistical Science, 1 , 114–135.

Satopää, VA, Baron, J., Foster, DP, Mellers, BA, Tetlock, PE und Ungar, LH (2014). Kombinieren mehrerer Wahrscheinlichkeitsvorhersagen mithilfe eines einfachen Logit-Modells. International Journal of Forecasting, 30 (2), 344-356.

Genest, C. und Schervish, MJ (1985). Modellierung von Expertenurteilen für die Bayes'sche Aktualisierung. Die Annalen der Statistik , 1198-1212.

Dietrich, F. und List, C. (2014). Probabilistische Meinungsbildung. (Unveröffentlicht)

Es gibt zwei Möglichkeiten, sich das Problem vorzustellen. Man kann sagen, dass die Quellen eine verrauschte Version der latenten Variablen "es wird regnen / es wird nicht regnen" beobachten.

$Beta(a+b,a)$$Beta(a,a+b)$

$a$$x$$y$$z$

$$p = \frac{1}{1+\left(\frac{1}{x}-1\right)^b\left(\frac{1}{y}-1\right)^b\left(\frac{1}{z}-1\right)^b}$$

$b$ is a parameter controlling how under ($b>1$) or over ($b<1$) confident the sources are. If we assume that the sources estimates are unbiased, then $b = 1$ and the estimate simplifies as

$$\frac{p}{1-p} = \frac{x}{1-x} \frac{y}{1-y} \frac{z}{1-z}$$

Which is just saying: the odds of rain is the product of the odds given by each source. Note that it is not well defined if a source gives an estimate of exactly $1$ and another gives an estimate of exactly $0$, but under our model, this never happens, the sources are never that confident. Of course we could patch the model to allow for this to happen.

This model works better if you're thinking of three people telling you whether or not it rained yesterday. In practice, we know that there is an irreducible random component in the weather, and so it might be better to assume that nature first picks a probability of rain, which is noisily observed by the sources, and then flips a biased coin to decide whether or not it is going to rain.

In that case, the combined estimate would look much more like an average between the different estimates.

In the framework of Transferable Belief Model (TBM), it is possible to combine different predictions using for instance the "conjunctive rule of combination". In order to apply this rule, you need to transform the probabilities of the predictions into basic belief assignments. This can be achieved with the so-called Least-Committed-Principle. In R:

library(ibelief)
#probabilities
p1 <- c(0.99, 0.01) # bad results for 0 and 1
p2 <- c(0.01, 0.99)
p3 <- c(0.5, 0.5)

# basic belief assignment, 
# each row represents a subset of (rain, not rain)
# each column represents one prediction
Mat <- LCPrincple(rbind(p1,p2,p3))

# combine beliefs
m <- DST(Mat, 1)

# resulting probability distribution (pignistic probability)
mtobetp(m)
# returns 0.5 and 0.5

For the second example of three independent predictions of 0.75, this approach returns a higher value:

p4 <- c(0.75, 0.25)
Mat <- LCPrincple(rbind(p4,p4,p4))
m <- DST(Mat, 1)
mtobetp(m)
#returns 0.9375 0.0625

This is not very far from the Bayesian approach shown in Arthur B's answer.

I think it's worthwhile to look at the weighting scheme based on inverse errors mentioned in one of the answers. If the sources are truly independent and we constrain the weights to sum to one, the weights are given by

$$w_1 = {{\sigma_2^2 \sigma_3^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}},\ w_2 = {{\sigma_1^2 \sigma_3^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}},\ w_3 ={{\sigma_1^2 \sigma_2^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}}.$$

If, as the OP states, the forecasts are equally reliable, then all weights will simplify to $\frac{1}{3}$ and the combined forecast for the given example will be 50%.

Note that the values of $\sigma_i$ do not need to be known if their relative proportions are known. So if $\sigma_1^2 : \sigma_2^2 : \sigma_3^2 = 1:2:4,$ then the forecast in the example would be

$$f = { {{8} \over {14}}*(0) + {{4} \over {14}}*(1) + {{2} \over {14}}*(0.5) } = 0.3571$$

Their numbers for rain likelihood is only half the story, as we'd have to temper their predictions with the probability that they are accurate when making guesses.

Because something like rain is mutually exclusive(it's either raining or isn't, in this setup), they cannot all simultaneously be correct with 75% probability as Karsten suggested (I think, hard to tell with the confusion I hear about what it means to find "combined probability").

Taking into consideration their individual abilities to predict the weather, we could take a stab (a la Thomas Bayes, as in a generally blind shot in the dark) at what the chance of rain is tomorrow.

Station 1 is correct in their predictions 60% of the time, the second 30% of the time, and the last station a poor 10% of the time.

E [Regen] = Px X + Py Y + Pz * Z ist die Form, die wir hier betrachten:

(.6) (0) + (. 3) (1) + (. 1) (. 5) = E [Regen] = 35% Regenwahrscheinlichkeit mit erfassten Vorhersagegenauigkeiten.

Es gibt viele komplizierte Antworten auf diese Frage, aber was ist mit dem inversen varianzgewichteten Mittelwert: https://en.wikipedia.org/wiki/Inverse-variance_weighting

Anstelle von n wiederholten Messungen mit einem Instrument, wenn der Experimentator mit n verschiedenen Instrumenten mit unterschiedlicher Qualität der Messungen n von derselben Menge durchführt ...

Jede Zufallsvariable wird umgekehrt proportional zu ihrer Varianz gewichtet.

Der inverse Varianz gewichtete Durchschnitt scheint sehr einfach zu berechnen zu sein und weist als Bonus die geringste Varianz unter allen gewichteten Durchschnitten auf.

Um Zuverlässigkeit zu kombinieren, lautet meine Go-to-Formel r1xr2xr3 ÷ (r1xr2xr3 + (1-r1) x (1-r2) x (1-r3) .75 ^ 3 ÷ (.75 ​​^ 3 + .25 ^ 3) => 96% Zuverlässigkeit der kombinierten Antwort