Was sind die Vor- und Nachteile der Anwendung punktueller gegenseitiger Informationen auf eine Wortkoexistenzmatrix vor der SVD?

Eine Möglichkeit zum Generieren von Worteinbettungen ist die folgende ( Spiegelung ):

1. Holen Sie sich eine Korpora, zB "Ich fliege gerne. Ich mag NLP. Ich mag tiefes Lernen."
2. Erstellen Sie daraus das Wort Cooccurrence Matrix:

3. Führen Sie SVD für $X$ durch und behalten Sie die ersten $k$ Spalten von U bei.

$U_{1:|V|,1:k}$

Zwischen den Schritten 2 und 3 werden manchmal punktweise gegenseitige Informationen angewendet (z . B. A. Herbelot und EM Vecchi. 2015. Aufbau einer gemeinsamen Welt: Abbildung der Verteilung auf modelltheoretische semantische Räume . In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing Lissabon, Portugal .).

Was sind die Vor- und Nachteile der Anwendung punktueller gegenseitiger Informationen auf eine Wortkoexistenzmatrix vor der SVD?

nach Dan Jurafsky und James H. Martin Buch:

"Es stellt sich jedoch heraus, dass die einfache Häufigkeit nicht das beste Maß für die Assoziation zwischen Wörtern ist. Ein Problem ist, dass die Rohfrequenz sehr verzerrt und nicht sehr diskriminierend ist. Wenn wir wissen wollen, welche Arten von Kontexten Aprikose und Ananas gemeinsam haben aber nicht durch digitale und Informationen, wir werden keine gute Unterscheidung von Wörtern wie dem, dem oder den Wörtern bekommen, die häufig bei allen Arten von Wörtern vorkommen und nicht über ein bestimmtes Wort informativ sind. "

manchmal ersetzen wir diese rohe Frequenz durch positive punktuelle gegenseitige Information:

$$\text{PPMI}(w,c) = \max{\left(\log_{2}{\frac{P(w,c)}{P(w)P(c)}},0\right)}$$

PMI allein zeigt, wie viel es möglich ist, ein Wort w mit einem Kontextwort C zu beobachten, verglichen mit der unabhängigen Beobachtung. In PPMI behalten wir nur positive PMI-Werte bei. Lassen Sie uns darüber nachdenken, wann der PMI + oder - ist und warum wir nur negative behalten:

Was bedeutet positiver PMI?

• $\frac{P(w,c)}{(P(w)P(c))} > 1$

• $P(w,c) > (P(w)P(c))$

• $w$$c$

Was bedeutet negativer PMI?

• $\frac{P(w,c)}{(P(w)P(c))} < 1$

• $P(w,c) < (P(w)P(c))$

• $w$$c$

PMI oder insbesondere PPMI hilft uns, solche Situationen mit informativem Zusammentreffen zu erfassen.