Doc2Vec - So beschriften Sie die Absätze (gensim)

Ich frage mich, wie ich Sätze / Absätze / Dokumente mit doc2vec in gensim kennzeichnen kann - aus praktischer Sicht.

Müssen Sie für jeden Satz / Absatz / jedes Dokument eine eindeutige Bezeichnung haben (z. B. "Sent_123")? Dies scheint nützlich zu sein, wenn Sie sagen möchten, welche Wörter oder Sätze einem bestimmten Satz mit der Bezeichnung "Sent_123" am ähnlichsten sind.

Können Sie die Beschriftungen je nach Inhalt wiederholen lassen? Wenn sich beispielsweise jeder Satz / Absatz / Dokument auf einen bestimmten Produktartikel bezieht (und für einen bestimmten Produktartikel mehrere Sätze / Absätze / Dokumente vorhanden sind), können Sie die Sätze basierend auf dem Artikel kennzeichnen und dann die Ähnlichkeit zwischen einem Wort oder einem berechnen satz und dieses etikett (was ich für einen durchschnitt aller sätze halte, die mit dem produktartikel zu tun hatten)?

Beides ist möglich. Sie können jedem Dokument eine eindeutige ID (z. B. eine fortlaufende Seriennummer) als Doctag oder als Doctag für einen gemeinsam genutzten String zuweisen, der etwas anderes darstellt, oder beides gleichzeitig.

Der TaggedDocument-Konstruktor verwendet eine Liste von Tags. (Wenn Sie sich zufällig auf einfache Zeichen beschränken, die von 0 aufsteigen, verwendet das Doc2Vec-Modell diese als direkte Indizes in seinem Sicherungsarray, und Sie sparen viel Speicher, der ansonsten für eine Zeichenfolge -> Indexsuche verwendet würde Dies kann für große Datenmengen wichtig sein. Sie können jedoch auch String-Doctags oder eine Mischung aus Int- und String-Doctags verwenden.)

Sie müssen experimentieren, was für Ihre Bedürfnisse am besten geeignet ist.

Ein Ansatz, der manchmal besser funktioniert, als ich es erwartet hätte, besteht darin, nur Text-IDs zu überspringen und das Doc2Vec-Modell anhand von Beispielen bekannter Klassen mit den gewünschten Klassen als Doctags zu trainieren. Sie erhalten dann "Dokumentvektoren" nur für die Klassendoctags - nicht für jedes Dokument - ein möglicherweise viel kleineres Modell. Späteres Ableiten von Vektoren für neue Texte führt zu Vektoren, die den zugehörigen Klassen-Doc-Vektoren sinnvoll nahe kommen.

doc2vecModell bekommt seinen Algorithmus von word2vec.

In word2vecgibt es keine Notwendigkeit , die Worte zu kennzeichnen, weil jedes Wort eigene semantische Bedeutung im Vokabular hat. Im Fall von doc2vecmuss jedoch angegeben werden, wie viele Wörter oder Sätze eine semantische Bedeutung enthalten, damit der Algorithmus sie als eine einzelne Entität identifizieren kann. Aus diesem Grunde sind wir spezifizieren labelsoder tagszu Satz oder Absatz je nach dem Grad der semantische Bedeutung gefördert.

Wenn wir eine einzelne Bezeichnung für mehrere Sätze in einem Absatz angeben, bedeutet dies, dass alle Sätze im Absatz erforderlich sind, um die Bedeutung zu vermitteln. Wenn wir dagegen allen Sätzen in einem Absatz Variablenbezeichnungen zuweisen, bedeutet dies, dass jeder Satz eine semantische Bedeutung hat und Ähnlichkeiten aufweisen kann oder nicht.

In einfachen Worten labelbedeutet eine semantische Bedeutung von etwas.