Ich werde es versuchen, obwohl es etwas über meinem Kopf liegt, also gib mir ein wenig Salz ...
Du liegst nicht genau falsch. Ich denke, dass Ihr Gedankenexperiment darin besteht, dass die differentielle Entropie nicht der begrenzende Fall der Entropie ist. Ich vermute, dass dadurch die Parallelen zwischen ihm und der Komplexität von Kolmogorov verloren gehen.
Lassen Sie uns sagen , dass wir eine diskrete Zufallsvariable haben . Wir können seine Shannon-Entropie wie folgt berechnen, indem wir alle möglichen Werte x i ,
H ( X ) = - ∑ i P ( X = x i ) log ( P (Xxi
H( X) = - ∑ichP( X= xich) log( S.( X= xich) ) .
So weit so langweilig. Nehmen wir nun an, dass eine quantisierte Version einer kontinuierlichen Zufallsvariablen ist - wir haben beispielsweise die Dichtefunktion p ( ) , die Samples aus der Menge reeller Zahlen generiert, und wir machen daraus ein Histogramm. Wir werden ein ausreichend feines Histogramm haben, dass die Dichtefunktion im Wesentlichen linear ist. In diesem Fall haben wir so etwas wie eine Entropie:
H ( X ) ≈ - ∑ i p ( X = x i ) δ x log ( p ( X = x i ) δ xXp ( )
wobeiδxdie Breite unserer Histogrammkästen und ist
H( X) ≈ - ∑ichp ( X= xich) δx log( p(X= xich) δx ) ,
δx der Mittelpunkt von jedem ist. Wir haben ein Produkt in diesem Logarithmus - lassen Sie uns das heraustrennen und die Eigenschaft von Wahrscheinlichkeitsverteilungen, die auf 1 summieren, verwenden, um es außerhalb der Summierung zu verschieben, was uns
H ( X ) ≈ - log ( δ x ) - ∑ i p ( X = x i ) δ x log ( p ( X = x i ) ) .xichH( X) ≈ - log( δx ) - ∑ichp ( X= xich) δx log( p(X= xich) ) .
δx → dx
H( X) = - log( dx ) - ∫xp ( X= x ) log( p(X= x ) ) dx .
Log( dx )
σ
δ
∫xp ( X= x ) log( p ( X= x )q( X= x )) dx
q( X)Xp ( X)q( X)