Kann der Wert der gegenseitigen Information größer als 1 sein?

Ich habe einen sehr grundlegenden Zweifel. Entschuldigung, wenn dies nur wenige irritiert. Ich weiß, dass der Wert für gegenseitige Informationen größer als 0 sein sollte, aber kleiner als 1? Ist es durch einen oberen Wert begrenzt?

Danke, Amit.

information-theory mutual-information Amit
quelle

Antworten:

Ja, es hat eine Obergrenze, aber nicht 1.

Die gegenseitige Information (in Bits) ist 1, wenn zwei Parteien (statistisch) ein Informationsbit teilen. Sie können jedoch beliebig große Datenmengen gemeinsam nutzen. Insbesondere wenn sie 2 Bits teilen, ist es 2.

$I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

Piotr Migdal
quelle

Wenn die beiden Parteien binäre Variablen sind, dh jeweils nur zwei mögliche Ergebnisse {0,1} haben , werden die Entropien bei maximal, wenn und . Somit ist die maximale gegenseitige Information für zwei binäre Variablen

X, Y

$X,Y$

H (X), H (Y)

$H(X), H(Y)$

1

$1$

P (X) = 0.5

$P(X)=0.5$

P (Y) = 0.5

$P(Y)=0.5$

1

$1$

Akseli Palén