Wie hängt die Entropie von Ort und Maßstab ab?

13

Die Entropie einer stetigen Verteilung mit der Dichtefunktion f ist definiert als das Negative der Erwartung von und ist daher gleichlog(f),

Hf=log(f(x))f(x)dx.

Wir sagen auch, dass jede Zufallsvariable deren Verteilung die Dichte hat, die Entropie (Dieses Integral ist auch dann gut definiert, wenn Nullen hat, weil bei solchen Werten gleich Null sein kann.)XfHf.flog(f(x))f(x)

Wenn und Zufallsvariablen sind, für die ( ist eine Konstante), wird als um verschobene Version von In ähnlicher Weise wird, wenn ( ist eine positive Konstante), gesagt, dass eine durch skalierte Version vonDie Kombination einer Skala mit einer Verschiebung ergibtXYY=X+μμYX μ.Y=XσσYX σ.Y=Xσ+μ.

Diese Beziehungen treten häufig auf. Wenn Sie beispielsweise die Maßeinheiten für ändern, wird sie verschoben und skaliert.X

Wie hängt die Entropie von mit der vonY=Xσ+μX?

whuber
quelle

Antworten:

16

Da die Wahrscheinlichkeit Element X ist f(x)dx, die Änderung der Variablen y=xσ+μ äquivalent zu x=(yμ)/σ, woher aus

f(x)dx=f(yμσ)d(yμσ)=1σf(yμσ)dy

Daraus folgt, dass die Dichte von Y ist

fY(y)=1σf(yμσ).

Folglich ist die Entropie von Y ist ,

H(Y)=log(1σf(yμσ))1σf(yμσ)dy

die, bei der die Änderung der Variable zurück zu x=(yμ)/σ, produziert

H(Y)=log(1σf(x))f(x)dx=(log(1σ)+log(f(x)))f(x)dx=log(σ)f(x)dxlog(f(x))f(x)dx=log(σ)+Hf.

Diese Berechnungen verwendeten grundlegende Eigenschaften des Logarithmus, die Linearität der Integration und die Tatsache, dass f(x)dx zur Einheit integriert wird (das Gesetz der Gesamtwahrscheinlichkeit).

Das Fazit ist

Die Entropie von Y=Xσ+μ ist die Entropie von X plus log(σ).

Mit anderen Worten, das Verschieben einer Zufallsvariablen ändert ihre Entropie nicht (wir können uns vorstellen, dass die Entropie von den Werten der Wahrscheinlichkeitsdichte abhängt, aber nicht von dem Ort, an dem diese Werte auftreten), während eine Variable skaliert wird (die für σ1 " streckt "oder" schmiert "es aus) erhöht seine Entropie um log(σ). Dies unterstützt die Intuition, dass Verteilungen mit hoher Entropie "weiter verbreitet" sind als Verteilungen mit niedriger Entropie.


Infolge dieses Ergebnisses können wir bei der Berechnung der Entropie einer beliebigen Verteilung bequeme Werte für μ und σ wählen . Beispielsweise kann die Entropie einer Normalverteilung (μ,σ) durch Setzen von μ=0 und σ=1. Der Logarithmus der Dichte ist in diesem Fall

log(f(x))=12log(2π)x2/2,

woher

H=E[12log(2π)X2/2]=12log(2π)+12.

Folglich wird die Entropie einer Normalverteilung (μ,σ) einfach durch Addition von logσ zu diesem Ergebnis erhalten, was ergibt

H=12log(2π)+12+log(σ)=12log(2πeσ2)

wie von Wikipedia berichtet .

whuber
quelle