Kullback-Leibler-Divergenz OHNE Informationstheorie

23

Nach langem Durchforsten von Cross Validated fühle ich mich immer noch nicht näher daran, die KL-Divergenz außerhalb des Bereichs der Informationstheorie zu verstehen. Es ist ziemlich seltsam, wenn jemand mit einem mathematischen Hintergrund die Erklärung der Informationstheorie viel leichter versteht.

Um mein Verständnis vor dem Hintergrund der Informationstheorie zu skizzieren: Wenn wir eine Zufallsvariable mit einer endlichen Anzahl von Ergebnissen haben, gibt es eine optimale Kodierung, die es uns ermöglicht, das Ergebnis mit durchschnittlich der kürzesten Nachricht an einen anderen zu kommunizieren (ich finde dies am einfachsten) Bild in Bit ausgedrückt). Die erwartete Länge der Nachricht, die zur Übermittlung des Ergebnisses benötigt wird, ist gegeben durch wenn die optimale Codierung verwendet wird. Wenn Sie eine suboptimale Codierung verwenden, gibt die KL-Divergenz im Durchschnitt an, wie lange unsere Nachricht dauern würde.

αpαlog2(pα)

Diese Erklärung gefällt mir, weil sie sich ganz intuitiv mit der Asymmetrie der KL-Divergenz befasst. Wenn wir zwei verschiedene Systeme haben, dh zwei geladene Münzen, die unterschiedlich geladen sind, haben sie unterschiedliche optimale Kodierungen. Ich bin nicht instinktiv der Meinung, dass die Codierung des zweiten Systems für das erste "genauso schlecht" ist wie die Codierung des ersten Systems für das zweite. Ohne den Gedankenprozess durchzugehen, wie ich mich selbst überzeugt habe, bin ich jetzt ziemlich glücklich, dass gibt Ihnen diese "zusätzliche erwartete Nachrichtenlänge", wenn Sie die Kodierung von für .

αpα(log2qαlog2pα)
qp

Die meisten Definitionen der KL-Divergenz, einschließlich Wikipedia, geben dann die Aussage ab (diskret, damit sie mit der informationstheoretischen Interpretation verglichen werden kann, die diskret weitaus besser funktioniert, da Bits diskret sind), dass wir zwei diskrete Wahrscheinlichkeiten haben Verteilungen, dann bietet KL einige Metrik "wie unterschiedlich sie sind". Ich habe noch keine einzige Erklärung dafür gefunden, wie diese beiden Konzepte überhaupt zusammenhängen. Ich scheine mich in seinem Buch über Inferenz zu erinnern, dass Dave Mackay darauf hinweist, dass Datenkomprimierung und Inferenz im Grunde genommen dasselbe sind, und ich vermute, dass meine Frage wirklich damit zusammenhängt.

Unabhängig davon, ob dies der Fall ist oder nicht, handelt es sich bei meiner Frage um Inferenzprobleme. (Dinge diskret halten), wenn wir zwei radioaktive Proben haben und wir wissen, dass eine von ihnen ein bestimmtes Material mit bekannter Radioaktivität ist (dies ist zweifelhafte Physik, aber tun wir so, als würde das Universum so funktionieren), und wir kennen daher die "wahre" Verteilung von radioaktiven Klicks sollten wir Poisson sein mit bekanntem messen sollten , ist es fair , eine empirische Verteilung für beiden Proben aufzubauen und ihre KL Divergenzen zu der bekannten Verteilung vergleichen und sagen , dass die untere wahrscheinlicher ist , dass das Material zu sein?λ

Wenn ich mich von der zweifelhaften Physik verabschiede und weiß, dass zwei Samples von derselben Verteilung stammen, aber nicht zufällig ausgewählt wurden, würde ein Vergleich ihrer KL-Abweichungen mit der bekannten globalen Verteilung ein Gefühl dafür vermitteln, wie "voreingenommen" die Samples sind , relativ zu dem einen oder anderen trotzdem?

Und schließlich, wenn die Antwort auf die vorherigen Fragen ja lautet, warum dann? Ist es möglich, diese Dinge allein aus statistischer Sicht zu verstehen, ohne irgendwelche (möglicherweise schwachen) Verbindungen zur Informationstheorie herzustellen?

gazza89
quelle
1
Siehe meine Antwort hier: stats.stackexchange.com/questions/188903/… die sich nicht auf Informationstheorie bezieht
kjetil b halvorsen
1
Ist KL-Divergenz nicht nur ein informationstheoretisches Konzept? Ich weiß, dass es die gegenseitige Information zwischen einem Bayesianischen Prior und einem posterioren oder ähnlichem gibt, und ich erinnere mich, dass ich es einmal im Kontext von Fenchel-Transformationen / Konjugaten (Theorie der großen Abweichungen) gesehen habe, aber auf jeden Fall dachte ich, dass es ein informationstheoretisches Konzept war .
Chill2Macht

Antworten:

23

Es gibt einen rein statistischen Ansatz für die Kullback-Leibler-Divergenz: Nehmen Sie eine Stichprobe iid aus einer unbekannten Verteilung p und betrachten Sie die mögliche Anpassung einer Verteilungsfamilie, F = { p θX1,,Xnp Die entsprechende Wahrscheinlichkeit ist definiert als L ( θ | x 1 , ... , x n ) = n Π i = 1 p θ ( x i ) und dessen Logarithmus ( θ | x 1 , ... , x n ) = n i = 1 log p θ ( x i )

F={pθ, θΘ}
L(θ|x1,,xn)=i=1npθ(xi)
(θ|x1,,xn)=i=1nlogpθ(xi)
Daher ist der interessante Teil der Kullback-Leibler-Divergenz zwischen p θ und p H ( p θ | p ) def = log { p ( x ) / p θ ( x ) }
1n(θ|x1,,xn)E[logpθ(X)]=logpθ(x)p(x)dx
pθp der andere Teil log { p ( x ) }
H(pθ|p)=deflog{p(x)/pθ(x)}p(x)dx
ist da, um das Minimum [in θ ] von H ( p θ | p ) gleich Null zu haben.
log{p(x)}p(x)dx
θH(pθ|p)

Ein Buch, das Divergenz, Informationstheorie und statistische Inferenz verbindet, ist Rissanens Optimale Parameterschätzung , die ich hier besprochen habe .

Xi'an
quelle
Gibt es eine Möglichkeit, ein numerisches Beispiel dafür zu sehen?
Paul Uszak
Nun, ich meine, einige tatsächliche Zahlen zu sehen. Die Theorie ist süß, aber die Welt lebt von Zahlen. Es gibt keine Beispiele für KL-Divergenz, die tatsächliche Zahlen verwenden, daher bin ich zu dem Schluss gekommen, dass es sich um eine Theorie ohne mögliche Anwendung handelt. Das OP erörterte die Länge der Nachrichten in Bits und die Datenkomprimierung. Ich bezog mich auf ein Beispiel, das eine Reihe von
Elementen enthielt
2
@PaulUszak: Wenn ich Ihnen sage, dass der Kullaback-Leibler-Abstand zwischen einer N (0,1) - und einer N (1,1) -Verteilung 1/2 beträgt, wie hilft das?
Xi'an
2
@ Xi'an: Muss zwischen dieser Zahl 1/2 und der Leistung des entsprechenden Likelihood-Ratio-Tests ein Zusammenhang bestehen?
kjetil b halvorsen
7
+1 Zum Kommentarthread: Der Gedanke, dass jedes Konzept, das nicht auf eine "Anzahl von Bits" reduziert werden kann, unbrauchbar ist, ist irritiert.
whuber
8

Hier ist eine statistische Interpretation der Kullback-Leibler-Divergenz, die IJ Good lose entnommen wurde ( Beweiskraft: Eine kurze Übersicht , Bayesian Statistics 2, 1985).

Das Gewicht der Beweise.

x1,x2,,xnf0H1H2f0H1={f1}H2={f2}f0f1f2

x=(x1,,xn)H1H2

W(x)=logf1(x)f2(x).
PH0H1W
logP(H0|x)P(H1|x)=W(x)+logP(H0)P(H1).
W(x1,,xn)=W(x1)++W(xn).
W(x)xH1H2

xW(x)W(x)>2

Die Kullback-Leibler-Divergenz

f1f2xf1

KL(f1,f2)=Exf1W(x)=f1logf1f2.

xf1H1={f1}H2

Exf1W(x)0.
Olivier
quelle
1

Ich habe noch keine einzige Erklärung dafür gefunden, wie diese beiden Konzepte überhaupt zusammenhängen.

Ich weiß nicht viel über Informationstheorie, aber so denke ich darüber: Wenn ich eine Person der Informationstheorie sagen höre, "Länge der Nachricht", sagt mein Gehirn "Überraschung". Die Überraschung ist 1.) zufällig und 2.) subjektiv.

Xq(X)logq(X)

qXppEp[logp(X)]qpEp[logq(X)]

Anstatt darüber nachzudenken, "wie unterschiedlich sie sind", denke ich an die "Zunahme der erwarteten Überraschung durch die Verwendung der falschen Verteilung". Dies ist alles aus Eigenschaften des Logarithmus.

Ep[log(p(X)q(X))]=Ep[logq(X)]Ep[logp(X)]0.

Bearbeiten

log(q(x))q

Xqx0log(0)=10

-Log

q(x)>1

XqX(x)Y.=einX+bqx((y-b)/ein)|1/ein|XlogqX(X)logqY(Y)

(XEX)2. We could interpret this as "extremeness." This quantity suffers from lack of invariance as well, but it doesn't render meaningless peoples' intuition about what variance is.

Edit 2: looks like I'm not the only one who thinks of this as "surprise." From here:

The residual information in data y conditional on θ may be defined (up to a multiplicative constant) as 2log{p(yθ)} (Kullback and Leibler, 1951; Burnham and Anderson, 1998) and can be interpreted as a measure of 'surprise' (Good, 1956), logarithmic penalty (Bernardo, 1979) or uncertainty.

Taylor
quelle
1
Can you elaborate on how log(q(x)) is a measure of "surprise"? This quantity alone seems meaningless, as it is not even invariant under linear transforms of the sample space (I assume q is a pdf).
Olivier
1
Let T be the transform T(X)=aX, a0. Since T is invertible, observing T(x) is, for me, the same as observing x: I can easily transform one into the other. Why should I be more surprised at observing T(x) than I am at observing x? (if logqT(X)(T(x))>logqX(x)) Invariance under invertible transforms is necessary to avoid this contradiction.
Olivier
@Olivier yes this was all covered in my edit already. I don't see a contradiction. Consider variance, where you take the expectation of the transformation (XE[X])2. You could regard this random quantity as "extremeness." But you don't see me complaining about the lack of invariance
Taylor