Für einen beliebigen kontinuierlichen Zufallsvariable, sagt ist seine differentielle Entropie immer kleiner als ? (Es ist in Ordnung, wenn es .) Wenn nicht, was ist die notwendige und ausreichende Bedingung, damit es weniger als ?
entropy
information-theory
maximum-entropy
syeh_106
quelle
quelle
Antworten:
Ich dachte noch einmal über diese Frage nach und fand auch dank der obigen Bemerkungen von Piotr ein Gegenbeispiel. Die Antwort auf die erste Frage lautet nein - die Differentialentropie einer kontinuierlichen Zufallsvariablen (RV) ist nicht immer kleiner als . Stellen Sie sich zum Beispiel ein kontinuierliches RV X vor, dessen PDF f ( x ) = log ( 2) ist∞
fürx
Es ist nicht schwer zu verifizieren, dass die Differenzentropie unendlich ist. Es wächst jedoch ziemlich langsam (ungefähr logarithmisch).
Für die 2. Frage bin ich keine einfache notwendige und hinreichende Bedingung bekannt. Eine Teilantwort lautet jedoch wie folgt. Kategorisieren Sie ein kontinuierliches Wohnmobil anhand seiner Unterstützung in einen der folgenden drei Typen:
Typ 1: ein kontinuierliches Wohnmobil, dessen Unterstützung begrenzt ist, dh in [a, b] enthalten ist.∞ −∞
Typ 2: ein kontinuierliches Wohnmobil, dessen Träger halbgebunden ist, dh in [a, ) oder ( - ∞ , a] enthalten ist. Typ 3: ein kontinuierliches Wohnmobil, dessen Träger unbegrenzt ist.
Dann haben wir folgendes:
Für ein Wohnmobil vom Typ 1 ist seine Entropie immer bedingungslos kleiner als . Bei einem Typ 2 RV ist seine Entropie kleiner als ∞ , wenn sein Mittelwert ( μ ) endlich ist. Für ein Typ 3 RV ist seine Entropie kleiner als ∞ , wenn seine Varianz ( σ 2 ) endlich ist.∞
∞ μ
∞ σ2
Die differentielle Entropie eines Typ - 1 - RV ist kleiner als die der entsprechende gleichmäßigen Verteilung, dh , ein Typ - 2 - RV, dass die Exponentialverteilung, dh 1 + l o g ( | & mgr; - a | ) und ein Typ 3 RV, das der Gaußschen Verteilung, dh 1log(b−a) 1+log(|μ−a|) 12log(2πeσ2) .
Beachten Sie, dass für ein Wohnmobil vom Typ 2 oder 3 die obige Bedingung nur eine ausreichende Bedingung ist . Stellen Sie sich zum Beispiel ein Wohnmobil vom Typ 2 mit fürx>3. Es ist klar, dass sein Mittelwert unendlich ist, aber seine Entropie beträgt 3,1 Nats. Oder betrachten Sie ein Wohnmobil vom Typ 3 mitf(x)=9
quelle