Was bedeuten die Eigenvektoren einer gegenseitigen Informationsmatrix?

Wenn wir die Eigenvektoren der Kovarianzmatrix betrachten, erhalten wir die Richtungen der maximalen Varianz (der erste Eigenvektor ist die Richtung, in der die Daten am stärksten variieren, usw.); Dies wird als Hauptkomponentenanalyse (PCA) bezeichnet.

Ich fragte mich, was es bedeuten würde, auf die Eigenvektoren / Werte der gegenseitigen Informationsmatrix zu schauen, würden sie in Richtung der maximalen Entropie zeigen?

Während es sich nicht um eine direkte Antwort handelt (da es sich um punktweise gegenseitige Informationen handelt), sehen Sie sich das Papier an, das word2vec mit einer Singularwertzerlegung der PMI-Matrix in Beziehung setzt :

• O. Levy, Y. Goldberg, Einbetten neuronaler Wörter als implizite Matrixfaktorisierung

Wir analysieren Skip-Gram mit Negativ-Sampling (SGNS), einem von Mikolov et al. Eingeführten Verfahren zur Worteinbettung, und zeigen, dass es implizit eine Wortkontextmatrix faktorisiert, deren Zellen die punktweise gegenseitige Information (Pointwise Mutual Information, PMI) der jeweiligen Person sind Wort- und Kontextpaare, verschoben um eine globale Konstante. Wir stellen fest, dass eine andere Einbettungsmethode, NCE, implizit eine ähnliche Matrix faktorisiert, wobei jede Zelle die (verschobene) logarithmische bedingte Wahrscheinlichkeit eines Wortes in Anbetracht seines Kontexts ist. Wir zeigen, dass die Verwendung einer spärlichen Shifted Positive PMI-Wortkontextmatrix zur Darstellung von Wörtern die Ergebnisse bei zwei Wortähnlichkeitsaufgaben und einer von zwei Analogieaufgaben verbessert. Wenn dichte niedrigdimensionale Vektoren bevorzugt werden, können durch exakte Faktorisierung mit SVD Lösungen erzielt werden, die mindestens so gut sind wie die Lösungen von SGNS für Wortähnlichkeitsaufgaben. In analogen Fragen bleibt SGNS SVD überlegen. Wir vermuten, dass dies auf die Gewichtung der Faktorisierung von SGNS zurückzuführen ist.