Wie hängt die Entropie von Ort und Maßstab ab?

Die Entropie einer stetigen Verteilung mit der Dichtefunktion $f$ ist definiert als das Negative der Erwartung von und ist daher gleich$\log(f),$

$$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$$

Wir sagen auch, dass jede Zufallsvariable deren Verteilung die Dichte hat, die Entropie (Dieses Integral ist auch dann gut definiert, wenn Nullen hat, weil bei solchen Werten gleich Null sein kann.)$X$$f$$H_f.$$f$$\log(f(x))f(x)$

Wenn und Zufallsvariablen sind, für die ( ist eine Konstante), wird als um verschobene Version von In ähnlicher Weise wird, wenn ( ist eine positive Konstante), gesagt, dass eine durch skalierte Version vonDie Kombination einer Skala mit einer Verschiebung ergibt$X$$Y$$Y = X+\mu$$\mu$$Y$$X$ $\mu.$$Y = X\sigma$$\sigma$$Y$$X$ $\sigma.$$Y=X\sigma + \mu.$

Diese Beziehungen treten häufig auf. Wenn Sie beispielsweise die Maßeinheiten für ändern, wird sie verschoben und skaliert.$X$

Wie hängt die Entropie von mit der von$Y = X\sigma + \mu$$X?$

Da die Wahrscheinlichkeit Element $X$ ist $f(x)\mathrm{d}x,$ die Änderung der Variablen $y = x\sigma + \mu$ äquivalent zu $x = (y-\mu)/\sigma,$ woher aus

$$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

Daraus folgt, dass die Dichte von $Y$ ist

$$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$$

Folglich ist die Entropie von $Y$ ist ,

$$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

die, bei der die Änderung der Variable zurück zu $x = (y-\mu)/\sigma,$ produziert

$$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$$

Diese Berechnungen verwendeten grundlegende Eigenschaften des Logarithmus, die Linearität der Integration und die Tatsache, dass $f(x)\mathrm{d}x$ zur Einheit integriert wird (das Gesetz der Gesamtwahrscheinlichkeit).

Das Fazit ist

Die Entropie von $Y = X\sigma + \mu$ ist die Entropie von $X$ plus $\log(\sigma).$

Mit anderen Worten, das Verschieben einer Zufallsvariablen ändert ihre Entropie nicht (wir können uns vorstellen, dass die Entropie von den Werten der Wahrscheinlichkeitsdichte abhängt, aber nicht von dem Ort, an dem diese Werte auftreten), während eine Variable skaliert wird (die für $\sigma \ge 1$ " streckt "oder" schmiert "es aus) erhöht seine Entropie um $\log(\sigma).$ Dies unterstützt die Intuition, dass Verteilungen mit hoher Entropie "weiter verbreitet" sind als Verteilungen mit niedriger Entropie.

---

Infolge dieses Ergebnisses können wir bei der Berechnung der Entropie einer beliebigen Verteilung bequeme Werte für $\mu$ und $\sigma$ wählen . Beispielsweise kann die Entropie einer Normalverteilung $(\mu,\sigma)$ durch Setzen von $\mu=0$ und $\sigma=1.$ Der Logarithmus der Dichte ist in diesem Fall

$$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$$

woher

$$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$$

Folglich wird die Entropie einer Normalverteilung $(\mu,\sigma)$ einfach durch Addition von $\log\sigma$ zu diesem Ergebnis erhalten, was ergibt

$$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$$

wie von Wikipedia berichtet .