Wie berechnet man gegenseitige Informationen?

Ich bin etwas verwirrt. Kann mir jemand erklären, wie man die gegenseitige Information zwischen zwei Begriffen basierend auf einer Term-Dokument-Matrix mit dem Auftreten eines binären Terms als Gewichtung berechnet?

\begin{matrix} ^{'} W h y^{'} & ^{'} H o w^{'} & ^{'} W h e n^{'} & ^{'} W h e r e^{'} \\ D o c u m e n t 1 & 1 & 1 & 1 & 1 \\ D o c u m e n t 2 & 1 & 0 & 1 & 0 \\ D o c u m e n t 3 & 1 & 1 & 1 & 0 \end{matrix}

$\begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix}$

I (X; Y) = \sum_{y \in Y} \sum_{x \in X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)})

$I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right)$

Vielen Dank

python information-theory mutual-information numpy pandas user18075
quelle

Was sind und ?

X

$X$

Y

$Y$

Dilip Sarwate

X und Y sind Begriffe. X könnte "Warum" und Y könnte "Wie" sein.

user18075

Antworten:

Wie wäre es mit einer gemeinsamen Wahrscheinlichkeitstabelle, die die normalisierten Co-Vorkommen in Dokumenten enthält? Dann können Sie anhand der Tabelle gemeinsame Entropie und marginale Entropien erhalten. Schließlich ist

I (X, Y) = H (X) + H (Y) - H (X, Y) .

$I(X,Y) = H(X)+H(Y)-H(X,Y).$

Zoran
quelle

Wenn die Gelenk- und Randverteilung bestimmt wurde, warum ist es notwendig, , und zu berechnen und die von Ihnen angegebene Formel zu verwenden? Kann die gegenseitige Information nicht direkt über die vom OP angegebene Formel bestimmt werden, da alles, was zum "Einstecken" benötigt wird, nämlich. und sind an dieser Stelle bekannt?

H (X)

$H(X)$

H (Y)

$H(Y)$

H (X, Y)

$H(X,Y)$

p (x, y), p (x)

$p(x,y), p(x)$

p (y)

$p(y)$

Dilip Sarwate

Formeln sind äquivalent, außer dass letztere auf den ersten Blick besser interpretierbar sind.

Zoran