"Entropie" erfasst grob den Grad der "Information" in einer Wahrscheinlichkeitsverteilung.
Für diskrete Verteilungen gibt es eine weitaus genauere Interpretation: Die Entropie einer diskreten Zufallsvariablen ist eine Untergrenze für die erwartete Anzahl von Bits, die zur Übertragung des Ergebnisses der Zufallsvariablen erforderlich sind.
Aber für eine kontinuierliche Zufallsvariable gibt es unzählige unendliche Ergebnisse, so dass wir nicht einmal anfangen können zu übertragen, welches genaue Ergebnis in einer endlichen Folge von Bits aufgetreten ist.
Was ist eine äquivalente Interpretation der Entropie für kontinuierliche Variablen?
entropy
information-theory
user56834
quelle
quelle
Antworten:
Aufgrund der Grenzdichte diskreter Punkte kann die Interpretation von nicht auf verallgemeinert werden.
Weil die direkte Verallgemeinerung zu explodiert eindeutig .
Da , gilt intuitiv nicht die Überlegung , weniger Bits für die Codierung von etwas zu verwenden, das wahrscheinlicher ist . Wir müssen also einen anderen Weg finden, um zu interpretieren , und die Wahl ist Divergenz.p(x)dx=0 S=−∫dxp(x)ln(p(x)dx) KL
Nehmen wir an, wir haben eine gleichmäßige Verteilung im gleichen Zustandsraum, dann haben wir Da nur eine Konstante ist, behalten wir effektiv die Form von und konstruieren Sie gleichzeitig eine genau definierte Größe für die kontinuierliche Verteilung .q(x)
Aus der Divergenz kann die Entropie einer kontinuierlichen Verteilung wie folgt interpretiert werden:KL p(x)
Wenn wir eine gleichmäßige Verteilung für die Codierung von , wie viele Bits sind dann durchschnittlich nicht erforderlich?p(x)
quelle
Sie diskretisieren das Problem über eine Wahrscheinlichkeitsdichte. Eine kontinuierliche Zufallsvariable hat eine Dichte , die sich lokal dem wahrscheinlich , was nun ein Analogon des diskreten Falls ist . Und nach der Theorie der Analysis werden Ihre Summen äquivalent zu Integralen über Ihrem Zustandsraum.f(x) P(X∈[x,x+δx])≈f(x)δx
quelle