Unterschied zwischen naiven Bayes und multinomialen naiven Bayes

Ich habe mich schon einmal mit dem Naive Bayes- Klassifikator befasst. Ich habe in letzter Zeit über Multinomial Naive Bayes gelesen .

Auch hintere Wahrscheinlichkeit = (Prior * Likelihood) / (Evidence) .

Der einzige Hauptunterschied (während ich diese Klassifikatoren programmierte), den ich zwischen Naive Bayes und Multinomial Naive Bayes fand, ist der folgende

Multinomial Naive Bayes berechnet die Wahrscheinlichkeit, dass ein Wort / Token gezählt wird (Zufallsvariable), und Naive Bayes berechnet die Wahrscheinlichkeit, dass Folgendes zutrifft :

Bildbeschreibung hier eingeben

Korrigiere mich, wenn ich falsch liege!

bayesian classification text-mining naive-bayes Garak
quelle

Viele Informationen finden Sie im folgenden PDF: cs229.stanford.edu/notes/cs229-notes2.pdf

B_Miner

Christopher D. Manning, Prabhakar Raghavan und Hinrich Schütze. " Introduction to Information Retrieval. " 2009, Kapitel 13 über Textklassifikation und Naive Bayes, ist ebenfalls gut.

Franck Dernoncourt

Antworten:

$f_1$ $f_n$

p (f_{1}, . . ., f_{n} | c) = \prod_{i = 1}^{n} p (f_{i} | c)

$p(f_1,..., f_n|c) = \prod_{i=1}^n p(f_i|c)$

Das heißt, wenn ich ein neues Beispiel mit einem Naive Bayes-Modell klassifizieren möchte, ist die posteriore Wahrscheinlichkeit viel einfacher zu handhaben:

p (c | f_{1}, . . ., f_{n}) \propto p (c) p (f_{1} | c) . . . p (f_{n} | c)

$p(c|f_1,...,f_n) \propto p(c)p(f_1|c)...p(f_n|c)$

Natürlich sind diese Annahmen der Unabhängigkeit selten zutreffend, was erklären mag, warum einige das Modell als "Idiot Bayes" -Modell bezeichnet haben, aber in der Praxis haben Naive Bayes-Modelle überraschend gute Leistungen erbracht, selbst bei komplexen Aufgaben, bei denen es klar ist, dass die Starken Unabhängigkeitsannahmen sind falsch.

$p(f_i|c)$ $p(f_i|c)$

Die Distribution, die Sie mit Ihrem Naive Bayes-Klassifikator verwendet haben, ist eine Guassian-PDF-Datei. Sie können sie also als Guassian Naive Bayes-Klassifikator bezeichnen.

Zusammenfassend ist der Naive Bayes-Klassifikator ein allgemeiner Begriff, der sich auf die bedingte Unabhängigkeit der einzelnen Merkmale im Modell bezieht, während der multinomiale Naive Bayes-Klassifikator eine spezifische Instanz eines Naive Bayes-Klassifikators ist, der für jedes der Merkmale eine multinomiale Verteilung verwendet.

Verweise:

Stuart J. Russell und Peter Norvig. 2003. Künstliche Intelligenz: Ein moderner Ansatz (2. Aufl.). Pearson Ausbildung. Siehe p. 499 zur Bezugnahme auf "idiot Bayes" sowie die allgemeine Definition des Naive Bayes-Modells und seiner Unabhängigkeitsannahmen

jlund3
quelle

Die Links sind kaputt

ssoler

@jlund3, Danke für die nette Erklärung. Wie nehmen wir die Informationen der Verteilung in unseren Klassifikator auf? Ich meine , wie funktioniert die fomula p (c | f1, ..., fn) & alpha; p (c) p (f1 | c) ... p (fn | c) basierend auf Änderungen , ob es sich um eine Gaußsche Verteilung vs multimodal ist

David

Vielen Dank für die kurze Erklärung, aber ich empfehle das Buch (Stuart J. Russell und Peter Norvig. 2003. Künstliche Intelligenz: Ein moderner Ansatz (2. Aufl.)), Auf das oben verwiesen wurde, um mehr über NB und Techniken der künstlichen Intelligenz zu

erfahren

Die Anzahl der Multinomialverteilungen ist nicht unabhängig. Siehe meine Frage hier: datascience.stackexchange.com/questions/32016/…

Hanan Shteingart

$P(x_i | c_j)$ $1 \leq i \leq n$ $1 \leq j \leq k$ $(i,j)$ $P(x_i|c_{j_1})$ $P(x_i | c_{j_2})$

Multinomial Naive Bayes geht einfach von einer Multinomialverteilung für alle Paare aus, was in einigen Fällen eine vernünftige Annahme zu sein scheint, dh für die Wortanzahl in Dokumenten.

sjm.majewski
quelle