Verteilungsentropie mit gleichmäßiger Unterverteilung

Lassen $X$ eine Zufallsvariable sein, die Werte in einer Menge annimmt $\mathcal{X}$. Die Verteilung von$X$ist nicht einheitlich, aber es gibt eine Teilmenge$A\in\mathcal{X}$ Das ist "einheitlich": alle Ereignisse in $A$ mit gleicher Wahrscheinlichkeit auftreten.

Können wir die Entropie von $X$ auf die Größe des Sets $A$? Intuitiv scheint es uns möglich zu sein, die Entropie von zu sagen$X$ ist mindestens $\log |A|$, aber ich bin mir nicht sicher, wie ich es beweisen soll.

Zum Beispiel wenn $A = \mathcal{X}$ die Verteilung auf $X$ ist einheitlich und die Grenze gilt trivial.

Wenden Sie einfach die Entropieformel an: Das Ergebnis fällt sofort aus. Die Idee ist das$A$ allein trägt zumindest bei

$$-|A| \left(\frac{1}{|A|}\right)\log\left(\frac{1}{|A|}\right)=\log|A|$$ auf die Entropie und andere Begriffe in der Entropieformel kann es nur weiter erhöhen. Details folgen.

---

Lassen Sie uns zunächst die Sprache klarstellen: Teilmengen von $\mathcal{X}$ werden normalerweise nicht als "Ereignisse" betrachtet. $X$ ist eine Funktion aus einem Wahrscheinlichkeitsraum $(\Omega, \mathfrak{F}, \mathbb{P})$ in $\mathcal X$. Die inversen Bilder

$$X^{-1}(a) = \{\omega\in\Omega\mid X(\omega)=a\}$$

werden als messbare Teilmengen von angenommen $\Omega$und als solche sind (im herkömmlichen Sinne) Ereignisse .

Der Einfachheit halber lassen Sie $n=|A|$ sei seine Kardinalität und lass $p$die gemeinsame Wahrscheinlichkeit aller fraglichen Ereignisse sein; das ist,

$$p = \Pr(X^{-1}(a))$$

für jeden .$a\in A$

Zerlegen Sie in und sein Komplement . Das Axiom der Gesamtwahrscheinlichkeit und die Tatsache, dass die Wahrscheinlichkeit von nicht negativ ist, implizieren$\Omega$$X^{-1}(A)$$\bar A = \Omega\setminus X^{-1}(A)$$\bar A$

$$\eqalign{ 1 &= \Pr(\Omega) = \Pr(\bar A_X) + \Pr(X^{-1}(A))\\ &= \Pr(\bar A_X) + \sum_{a\in A} \Pr(X^{-1}(a)) \\ & = \Pr(\bar A_X) + np \ge np. }$$

Wenn unendlich ist, zeigt dies, dass Null sein muss und undefiniert ist. Wir müssen daher annehmen, dass endlich ist. In diesem Fall zeigt die vorhergehende Berechnung$n$$p$$\log p$$n$

$$p \le \frac{1}{n}.$$

Bei der Berechnung der Entropie von gibt es Terme, die und nicht negative Werte zur Entropie beitragen. Es bleibt Begriffe von . Jedes dieser trägt (per Definition) zur Entropie bei. Da und eine monoton wachsende Funktion ( dh , ), die insgesamt hat eine untere Schranke$X$$X^{-1}\left(\mathcal{X}\setminus A\right)$$n$$A$$-p\log p$$p \le 1/n$$\log$$\log(p) \le \log(1/n)$$-np\log p$

$$-np\log p \ge -n\frac{1}{n}\log\left(\frac{1}{n}\right) = \log n =\log|A|,$$

QED .