Generative vs. diskriminative Modelle (im Bayes'schen Kontext)

Was sind die Unterschiede zwischen generativen und diskriminativen (diskriminanten) Modellen (im Kontext des Bayes'schen Lernens und der Inferenz)?

und worum geht es bei Vorhersage, Entscheidungstheorie oder unbeaufsichtigtem Lernen?

Beide werden beim überwachten Lernen verwendet, wenn Sie eine Regel lernen möchten, die die Eingabe x auf die Ausgabe y abbildet, wenn eine Reihe von Trainingsbeispielen in der Form . Ein generatives Modell (z. B. naives Bayes) modelliert explizit die gemeinsame Wahrscheinlichkeitsverteilung p ( x , y ) und verwendet dann die Bayes-Regel, um p ( y | x ) zu berechnen . Andererseits modelliert ein Unterscheidungsmodell (z. B. logistische Regression) direkt p ( y | x ) .$\{(x_i,y_i)\}$$p(x,y)$$p(y|x)$$p(y|x)$

$(y)$$p(x|y)$

Es kann Fälle geben, in denen ein Modell besser ist als das andere (z. B. sind diskriminative Modelle in der Regel besser, wenn Sie über viele Daten verfügen; generative Modelle sind möglicherweise besser, wenn Sie über zusätzliche unbeschriftete Daten verfügen). Tatsächlich gibt es auch Hybird-Modelle, die versuchen, das Beste aus beiden Welten hervorzubringen. In diesem Artikel finden Sie ein Beispiel: Prinzipielle Hybride generativer und diskriminativer Modelle

Ein Zusatz zu der obigen Antwort:

Da sich Diskriminanten nur um P (Y | X) kümmern, während sich generative gleichzeitig um P (X, Y) und P (X) kümmern, um P (Y | X) gut vorherzusagen, hat das generative Modell einen geringeren Freiheitsgrad im Modell im Vergleich zu Diskriminanzmodell. So generatives Modell ist robuster und weniger anfällig für Überanpassung während Diskriminante ist umgekehrt.

Das erklärt die obige Antwort

Es kann Fälle geben, in denen ein Modell besser ist als das andere (z. B. sind diskriminative Modelle in der Regel besser, wenn Sie über viele Daten verfügen; generative Modelle sind möglicherweise besser, wenn Sie über zusätzliche unbeschriftete Daten verfügen).