Wie normalisiert das Protokoll (p (x, y)) die punktuelle gegenseitige Information?

Ich versuche, die normalisierte Form der punktuellen gegenseitigen Information zu verstehen.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Warum normalisiert die logarithmische Gelenkwahrscheinlichkeit die punktweise gegenseitige Information auf [-1, 1]?

Die punktuelle gegenseitige Information ist:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) ist durch [0, 1] begrenzt, so dass log (p (x, y)) durch (, 0] begrenzt ist. Es scheint, als sollte das log (p (x, y)) Änderungen in irgendwie ausgleichen der Zähler, aber ich verstehe nicht genau wie. Es erinnert mich auch an die Entropie , aber auch hier verstehe ich die genaue Beziehung nicht.$h=-log(p(x))$

Aus dem Wikipedia-Eintrag zur punktuellen gegenseitigen Information :

Punktweise gegenseitige Informationen können zwischen [-1, + 1] normalisiert werden, was zu -1 (im Grenzwert) für niemals zusammen auftretend, 0 für Unabhängigkeit und +1 für vollständiges gleichzeitiges Auftreten führt.

Warum passiert das? Nun, die Definition für punktuelle gegenseitige Information ist

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

Für normalisierte punktweise gegenseitige Informationen gilt Folgendes :

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

Das wenn es gibt:

• Keine gleichzeitigen Vorkommen, , also ist nmpi -1,$\log p(x,y)\to -\infty$
• zufälliges gleichzeitiges Auftreten, , also ist nmpi 0,$\log p(x,y)= \log[p(x) p(y)]$
• vollständige Co-Vorkommen, , also ist nmpi 1.$\log p(x,y)= \log p(x) = \log p(y)$

Während Piotr Migdals Antwort in den Beispielen, in denen nmpi drei Extremwerte erreicht, informativ ist, beweist sie nicht, dass es sich um das Intervall . Hier ist die Ungleichung und ihre Ableitung. as für jedes Ereignis . wir beide Seiten durch das nicht negative , erhalten wir $[-1,1]$

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ $-\log\,p(A)\ge0$$A$$h(x,y):=-\log\,p(x,y)$ $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$