Log Wahrscheinlichkeit vs Produkt der Wahrscheinlichkeiten

Laut diesem Wikipedia-Artikel kann man das Produkt der Wahrscheinlichkeiten x⋅yso darstellen, -log(x) - log(y)dass die Berechnung rechenoptimaler wird. Aber wenn ich ein Beispiel versuche, sagen Sie:

p1 = 0.5
p2 = 0.5
p1 * p2 = 0.25
-log(p1) - log(p2) = 2

p3 = 0.1
p4 = 0.1
p3 * p4 = 0.01
-log(p3) - log(p4) = 6.64

Das Produkt von Wahrscheinlichkeiten p1und p2ist höher als das von p3und p4, aber die logarithmische Wahrscheinlichkeit ist niedriger.

Woher?

probability logarithm arithmetic Spacemonkey
quelle

Was ist los? Kleinere Wahrscheinlichkeiten werden größere Werte geben , weil erhöht sich von , wenn in Richtung als .

- \log p

$-\log p$

0

$0$

p = 1

$p=1$

\infty

$\infty$

p \to 0

$p \to 0$

Dilip Sarwate

(+1) Warum abstimmen? Ich denke, dies ist eine gut geschriebene, wenn auch sehr elementare Frage zum Thema.

Juho Kokkala

@DilipSarwate Mein Problem ist nicht der mathematische Teil, sondern diese besondere Art der Darstellung von Wahrscheinlichkeiten. Vielleicht ist es nur eine Frage der Gewöhnung.

Spacemonkey

Antworten:

Ich fürchte, Sie haben falsch verstanden, was der Artikel beabsichtigt. Dies ist keine große Überraschung, da es etwas unklar geschrieben ist. Es gibt zwei verschiedene Dinge.

Das erste ist, einfach an der Log-Skala zu arbeiten.

Das heißt, anstelle von " " (wenn Sie Unabhängigkeit haben) kann man stattdessen " " schreiben . Wenn Sie die tatsächliche Wahrscheinlichkeit benötigen, können Sie am Ende , um : aber wenn nötig um Alles in allem würde die Potenzierung normalerweise dem letztmöglichen Schritt überlassen bleiben. So weit, ist es gut. $p_{AB} = p_A\cdot p_B$ $\log(p_{AB}) = \log(p_A)+ \log(p_B)$ $p_{AB}$ $\qquad p_{AB}=e^{\log(p_A)+ \log(p_B)}\,,$

Der zweite Teil ersetzt durch . So arbeiten wir mit positiven Werten. $\log p$ $-\log p$

Persönlich sehe ich nicht wirklich viel Wert darin, zumal es die Richtung jeder Reihenfolge umkehrt ( ist monoton steigend, wenn also , dann ; diese Reihenfolge wird mit ) umgekehrt . $\log$ $p_1<p_2$ $\log(p_A)< \log(p_2)$ $-\log p$

Diese Umkehrung scheint Sie zu beunruhigen, ist jedoch eine direkte Folge der Negation - sie sollte mit negativen Log-Wahrscheinlichkeiten eintreten. Stellen Sie sich negative Log-Wahrscheinlichkeiten als eine Skala der "Seltenheit" vor - je größer die Zahl, desto seltener ist das Ereignis (der Artikel bezeichnet es als "Überraschungswert" oder "überraschend", eine andere Art, darüber nachzudenken). Wenn Ihnen diese Umkehrung nicht gefällt, arbeiten Sie stattdessen mit . $\log p$

Um negative Log-Wahrscheinlichkeiten wieder in Wahrscheinlichkeiten umzuwandeln, müssen Sie vor der Exponentiierung negieren. Wenn wir sagen ( für 'Überraschungswert'), dann istWie Sie sehen, ändert dies ein zweites Mal die Richtung und gibt uns das zurück, was wir brauchen. $s_i = -\log(p_i)$ $s$ $p_{AB}=e^{-[s_A+ s_B]}\,.$

Glen_b - Setzen Sie Monica wieder ein
quelle

+1 "Stellen Sie sich negative Log-Wahrscheinlichkeit als Skala für" Seltenheit "vor - je größer die Zahl,

desto