Wie ist die Differentialentropie zu interpretieren?

Ich habe kürzlich diesen Artikel über die Entropie einer diskreten Wahrscheinlichkeitsverteilung gelesen . Es beschreibt eine nette Art, über Entropie nachzudenken, da die erwartete Anzahl von Bits (zumindest bei Verwendung von in Ihrer Entropiedefinition) zum Codieren einer Nachricht benötigt wird, wenn Ihre Codierung unter Berücksichtigung der Wahrscheinlichkeitsverteilung der von Ihnen verwendeten Wörter optimal ist.$\log_2$

Wenn ich jedoch wie hier auf den kontinuierlichen Fall glaube ich, dass diese Denkweise zusammenbricht, da für eine kontinuierliche Wahrscheinlichkeitsverteilung (bitte korrigieren Sie mich, wenn das falsch ist), also ich Ich habe mich gefragt, ob es eine gute Möglichkeit gibt, darüber nachzudenken, was kontinuierliche Entropie genau wie im diskreten Fall bedeutet.p ( x $\sum_x p(x) = \infty$$p(x)$

Es gibt keine Interpretation der differentiellen Entropie, die so aussagekräftig oder nützlich wäre wie die der Entropie. Das Problem bei kontinuierlichen Zufallsvariablen besteht darin, dass ihre Werte typischerweise eine Wahrscheinlichkeit von 0 haben und daher eine unendliche Anzahl von Bits zum Codieren erfordern würden.

Wenn Sie die Grenze der diskreten Entropie durch Messung der Wahrscheinlichkeit von Intervallen , erhalten Sie$[n\varepsilon, (n + 1)\varepsilon[$

$$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$$

und nicht die Differentialentropie. Diese Größe ist in gewisser Weise aussagekräftiger, wird jedoch mit immer kürzeren Intervallen bis ins Unendliche variieren. Es ist sinnvoll, da wir immer mehr Bits benötigen, um zu codieren, in welches der vielen Intervalle der Wert unseres Zufallswerts fällt.

Eine nützlichere Größe für kontinuierliche Verteilungen ist die relative Entropie (auch Kullback-Leibler-Divergenz). Für diskrete Verteilungen:

$$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$$

Es misst die Anzahl der zusätzlichen Bits, die verwendet werden, wenn die wahre Verteilung , aber wir verwenden Bits, um zu codieren . Wir können die Grenze der relativen Entropie nehmen und ankommen$P$$-\log Q_2(x)$$x$

$$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$$

weil wird. Bei kontinuierlichen Verteilungen entspricht dies der Anzahl der zusätzlichen Bits, die bei unendlich kleinen Bins verwendet werden. Dies ist sowohl für kontinuierliche als auch für diskrete Verteilungen immer nicht negativ.$\log_2 \varepsilon$

Nun, wir könnten von differentiellen Entropie denken als die negative relative Entropie zwischen und einer nicht - normierte Dichte ,$p(x)$$\lambda(x) = 1$

$$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$$

Ihre Interpretation wäre der Unterschied in der Anzahl der Bits, die erforderlich sind, wenn stattdessen Bits zum Codieren des ten Intervalls verwendet werden von Bits. Obwohl ersteres optimal wäre, kann dieser Unterschied jetzt negativ sein, da schummelt (indem es nicht auf 1 integriert) und daher im Durchschnitt weniger Bits als theoretisch möglich zuweist.$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$$n$$-\log \varepsilon$$\lambda$

Siehe Sergio Verdus Vortrag für eine großartige Einführung in die relative Entropie.