Was ist ein generatives und diskriminatives Modell? Wie werden sie in der Verarbeitung natürlicher Sprache verwendet?

Diese Frage fragt nach generativen und diskriminativen Algorithmen. Kann jemand ein Beispiel für den Unterschied zwischen diesen Formen geben, wenn er auf die Verarbeitung natürlicher Sprache angewendet wird? Wie werden generative und diskriminative Modelle in NLP verwendet?

Angenommen, Sie sagen das Thema eines Dokuments anhand seiner Wörter voraus.

Ein generatives Modell beschreibt, wie wahrscheinlich jedes Thema ist und wie wahrscheinlich Wörter für das Thema sind. So heißt es, dass Dokumente tatsächlich von der Welt "generiert" werden - ein Thema entsteht gemäß einer bestimmten Verteilung, Wörter entstehen aufgrund des Themas, Sie haben ein Dokument. Das Klassifizieren von Dokumenten der Wörter W in Thema T ist eine Frage der Maximierung der gemeinsamen Wahrscheinlichkeit: P (T, W) = P (W | T) P (T)

Ein Unterscheidungsmodell beschreibt nur, wie wahrscheinlich es ist, dass einem Thema die Wörter gegeben werden. Es sagt nichts darüber aus, wie wahrscheinlich die Wörter oder das Thema für sich sind. Die Aufgabe besteht darin, P (T | W) direkt zu modellieren und das T zu finden, das dies maximiert. Diese Ansätze kümmern sich nicht direkt um P (T) oder P (W).