Dokumentähnlichkeit messen

Um (Text-) Dokumente zu gruppieren, müssen Sie die Ähnlichkeit zwischen Dokumentenpaaren messen.

Zwei Alternativen sind:

1. Vergleichen Sie Dokumente als Termvektoren mit Cosine Similarity - und TF / IDF als Gewichtungen für Terme.

2. Vergleichen Sie die Wahrscheinlichkeitsverteilung jedes Dokuments mit f-Divergenz, z. B. Kullback-Leibler-Divergenz

Gibt es einen intuitiven Grund, eine Methode der anderen vorzuziehen (bei einer durchschnittlichen Dokumentgröße von 100 Begriffen)?

Bei Textdokumenten können die Merkmalsvektoren unter allen Standarddarstellungen (Wortkiste oder TF-IDF usw.) sehr hochdimensional und dünn sein. Das Messen von Abständen direkt unter einer solchen Darstellung ist möglicherweise nicht zuverlässig, da bekannt ist, dass in sehr großen Dimensionen der Abstand zwischen zwei beliebigen Punkten gleich aussieht. Eine Möglichkeit, damit umzugehen, besteht darin, die Datendimensionalität mithilfe von PCA oder LSA ( Latent Semantic Analysis , auch als Latent Semantic Indexing bezeichnet ) zu reduzieren und anschließend die Abstände im neuen Raum zu messen. Die Verwendung von so etwas wie LSA gegenüber PCA ist vorteilhaft, da es eine aussagekräftige Darstellung im Sinne von "semantischen Konzepten" abgesehen von der Messung von Entfernungen in einem Raum mit niedrigeren Dimensionen geben kann.

Das Vergleichen von Dokumenten auf der Grundlage der Wahrscheinlichkeitsverteilungen erfolgt normalerweise, indem zuerst die Themenverteilung jedes Dokuments berechnet wird (unter Verwendung einer latenten Dirichlet-Zuordnung ) und dann eine Art von Divergenz (z. B. KL-Divergenz) zwischen den Themenverteilungen von Dokumentenpaaren berechnet wird. In gewisser Weise ist es tatsächlich so, als würde man zuerst LSA durchführen und dann die Abstände im LSA-Raum unter Verwendung der KL-Divergenz zwischen den Vektoren messen (anstelle der Cosinus-Ähnlichkeit).

KL-Divergenz ist ein Abstandsmaß für den Vergleich von Verteilungen. Daher ist es möglicherweise vorzuziehen, wenn die Dokumentendarstellung in Form einer Verteilung erfolgt (was häufig tatsächlich der Fall ist - z. B. Dokumente, die wie in LDA als Verteilung über Themen dargestellt werden). Beachten Sie auch, dass bei einer solchen Darstellung die Einträge im Merkmalsvektor eins ergeben würden (da Sie das Dokument im Grunde genommen als eine Verteilung über Themen oder semantische Konzepte behandeln).

Siehe auch einen verwandten Thread hier .

Möglicherweise möchten Sie diesen Onlinedienst auf Ähnlichkeit mit Kosinusdokumenten testen: http://www.scurtu.it/documentSimilarity.html

import urllib,urllib2
import json
API_URL="http://www.scurtu.it/apis/documentSimilarity"
inputDict={}
inputDict['doc1']='Document with some text'
inputDict['doc2']='Other document with some text'
params = urllib.urlencode(inputDict)    
f = urllib2.urlopen(API_URL, params)
response= f.read()
responseObject=json.loads(response)  
print responseObject