Naive Bayes verstehen

Von StatSoft, Inc. (2013), Electronic Statistics Textbook , "Naive Bayes Classifier" :

Betrachten Sie das in der obigen Abbildung gezeigte Beispiel, um das Konzept der Naive Bayes-Klassifizierung zu veranschaulichen. Wie angegeben, können die Objekte als GRÜN oder ROT klassifiziert werden. Meine Aufgabe ist es, neue Fälle bei ihrem Eintreffen zu klassifizieren, dh zu entscheiden, zu welcher Klassenbezeichnung sie gehören, basierend auf den aktuell ausgeführten Objekten.

Da es doppelt so viele GRÜNE Objekte wie ROT gibt, kann man davon ausgehen, dass ein neuer Fall (der noch nicht beobachtet wurde) doppelt so häufig GRÜN als ROT ist. In der Bayes'schen Analyse ist dieser Glaube als die vorherige Wahrscheinlichkeit bekannt. Vorherige Wahrscheinlichkeiten basieren auf früheren Erfahrungen, in diesem Fall dem Prozentsatz der GRÜNEN und ROTEN Objekte, und werden häufig verwendet, um Ergebnisse vorherzusagen, bevor sie tatsächlich eintreten.

So können wir schreiben:

Da es insgesamt 60 Objekte gibt, von denen 40 GRÜN und 20 ROT sind, lauten unsere vorherigen Wahrscheinlichkeiten für die Klassenzugehörigkeit:

Nachdem wir unsere vorherige Wahrscheinlichkeit formuliert haben, können wir nun ein neues Objekt klassifizieren (WEISSER Kreis). Da die Objekte gut gruppiert sind, ist anzunehmen, dass die Wahrscheinlichkeit, dass die neuen Fälle zu dieser bestimmten Farbe gehören, umso größer ist, je mehr GRÜNE (oder ROTE) Objekte sich in der Nähe von X befinden. Um diese Wahrscheinlichkeit zu messen, zeichnen wir einen Kreis um X, der eine a priori zu wählende Anzahl von Punkten umfasst, unabhängig von ihrer Klassenbezeichnung. Dann berechnen wir die Anzahl der Punkte im Kreis, die zu jeder Klassenbezeichnung gehören. Daraus berechnen wir die Wahrscheinlichkeit:

Aus der obigen Abbildung geht hervor, dass die Wahrscheinlichkeit von X bei GRÜN kleiner ist als die Wahrscheinlichkeit von X bei ROT, da der Kreis 1 GRÜNES und 3 ROTES Objekt umfasst. Somit:

Obwohl die vorherigen Wahrscheinlichkeiten angeben, dass X zu GRÜN gehören kann (vorausgesetzt, es gibt doppelt so viele GRÜNE im Vergleich zu ROT), gibt die Wahrscheinlichkeit etwas anderes an. dass die Klassenzugehörigkeit von X ROT ist (vorausgesetzt, es gibt mehr ROTE Objekte in der Nähe von X als GRÜN). In der Bayes'schen Analyse wird die endgültige Klassifikation erstellt, indem beide Informationsquellen, dh der Prior und die Wahrscheinlichkeit, unter Verwendung der sogenannten Bayes'schen Regel (benannt nach Rev. Thomas Bayes 1702-1761) zu einer posterioren Wahrscheinlichkeit kombiniert werden.

Schließlich klassifizieren wir X als ROT, da seine Klassenzugehörigkeit die größte hintere Wahrscheinlichkeit erreicht.

Hier kommt die Schwierigkeit meines mathematischen Verständnisses ins Spiel.

p (Cj | x1, x2, x ..., xd) ist die hintere Wahrscheinlichkeit einer Klassenzugehörigkeit, dh die Wahrscheinlichkeit, dass X zu Cj gehört, aber warum schreibt man es so?

Berechnung der Wahrscheinlichkeit?

Hintere Wahrscheinlichkeit?

Ich habe nie Mathe genommen, aber mein Verständnis von naiven Bayes ist in Ordnung. Ich denke, nur wenn es um diese zerlegten Methoden geht, bin ich verwirrt. Könnte jemand helfen, diese Methoden zu visualisieren und die Mathematik verständlich aufzuschreiben?

Ich werde den gesamten Naive Bayes-Prozess von Grund auf durchlaufen, da mir nicht ganz klar ist, wo Sie aufgehängt werden.

Wir wollen die Wahrscheinlichkeit ermitteln, dass zu jeder Klasse ein neues Beispiel gehört: ). Wir berechnen dann diese Wahrscheinlichkeit für jede Klasse und wählen die wahrscheinlichste Klasse aus. Das Problem ist, dass wir diese Wahrscheinlichkeiten normalerweise nicht haben. Mit Bayes 'Theorem können wir diese Gleichung jedoch in einer besser handhabbaren Form umschreiben.$P(class|feature_1, feature_2,..., feature_n$

Bayes 'Daraus ergibt sich einfach oder in Bezug auf unser Problem:

$$P(A|B)=\frac{P(B|A) \cdot P(A)}{P(B)}$$ $$P(class|features)=\frac{P(features|class) \cdot P(class)}{P(features)}$$

Wir können dies vereinfachen, indem wir entfernen . Wir können dies tun, weil wir für jeden Wert der einstufen werden. wird jedes Mal gleich sein - es hängt nicht von der . Dies lässt uns mit $P(features)$$P(class|features)$$class$$P(features)$$class$

$$P(class|features) \propto P(features|class) \cdot P(class)$$

Die vorherigen Wahrscheinlichkeiten können wie in Ihrer Frage beschrieben berechnet werden.$P(class)$

Damit bleibt . Wir wollen die massive und wahrscheinlich sehr spärliche Gelenkwahrscheinlichkeit . Wenn jedes Feature unabhängig ist, ist Auch wenn sie nicht wirklich unabhängig sind, können wir annehmen, dass sie es sind (das ist das " naiv "Teil von naiv Bayes). Ich persönlich denke, es ist einfacher, dies für diskrete (dh kategoriale) Variablen zu überdenken. Verwenden wir also eine etwas andere Version Ihres Beispiels. Hier habe ich jede Feature-Dimension in zwei kategoriale Variablen unterteilt.$P(features|class)$$P(feature_1, feature_2, ..., feature_n|class)$

$$P(feature_1, feature_2, ..., feature_n|class) = \prod_i{P(feature_i|class})$$

.

Beispiel: Schulung des Klassenzimmers

Um den Klassifizierer zu trainieren, zählen wir verschiedene Teilmengen von Punkten und verwenden sie, um die vorherigen und bedingten Wahrscheinlichkeiten zu berechnen.

Die Prioren sind trivial: Es gibt sechzig Gesamtpunkte, vierzig sind grün und zwanzig sind rot. Somit ist

$$P(class=green)=\frac{40}{60} = 2/3 \text{ and } P(class=red)=\frac{20}{60}=1/3$$

Als Nächstes müssen wir die bedingten Wahrscheinlichkeiten für jeden Merkmalswert einer Klasse berechnen. Hier gibt es zwei Features: und , die jeweils einen von zwei Werten (A oder B für einen, X oder Y für den anderen). Wir müssen daher Folgendes wissen:$feature_1$$feature_2$

• $P(feature_1=A|class=red)$
• $P(feature_1=B|class=red)$
• $P(feature_1=A|class=green)$
• $P(feature_1=B|class=green)$
• $P(feature_2=X|class=red)$
• $P(feature_2=Y|class=red)$
• $P(feature_2=X|class=green)$
• $P(feature_2=Y|class=green)$
• (falls es nicht offensichtlich ist, sind dies alle möglichen Paare von Merkmalswert und Klasse)

Diese lassen sich auch durch Zählen und Teilen leicht berechnen. Zum Beispiel betrachten wir für nur die roten Punkte und zählen, wie viele davon in der Region 'A' für . Es gibt zwanzig rote Punkte, die sich alle in der ' -Region befinden, also ist . Keiner der roten Punkte befindet sich im Bereich B, daher ist . Als nächstes machen wir dasselbe, aber betrachten nur die grünen Punkte. Dies ergibt und . Wir wiederholen diesen Vorgang für , um die Wahrscheinlichkeitstabelle . Vorausgesetzt, ich habe richtig gezählt, bekommen wir$P(feature_1=A|class=red)$$feature_1$$P(feature_1=A|class=red)=20/20=1$$P(feature_1|class=red)=0/20=0$$P(feature_1=A|class=green)=5/40=1/8$$P(feature_1=B|class=green)=35/40=7/8$$feature_2$

• $P(feature_1=A|class=red)=1$
• $P(feature_1=B|class=red)=0$
• $P(feature_1=A|class=green)=1/8$
• $P(feature_1=B|class=green)=7/8$
• $P(feature_2=X|class=red)=3/10$
• $P(feature_2=Y|class=red)=7/10$
• $P(feature_2=X|class=green)=8/10$
• $P(feature_2=Y|class=green)=2/10$

Those ten probabilities (the two priors plus the eight conditionals) are our model

Classifying a New Example

Let's classify the white point from your example. It's in the "A" region for $feature_1$ and the "Y" region for $feature_2$. We want to find the probability that it's in each class. Let's start with red. Using the formula above, we know that:

$$P(class=red|example) \propto P(class=red) \cdot P(feature_1=A|class=red) \cdot P(feature_2=Y|class=red)$$ Subbing in the probabilities from the table, we get

$$P(class=red|example) \propto \frac{1}{3} \cdot 1 \cdot \frac{7}{10} = \frac{7}{30}$$ We then do the same for green: $$P(class=green|example) \propto P(class=green) \cdot P(feature_1=A|class=green) \cdot P(feature_2=Y|class=green)$$

Subbing in those values gets us 0 ($2/3 \cdot 0 \cdot 2/10$). Finally, we look to see which class gave us the highest probability. In this case, it's clearly the red class, so that's where we assign the point.

Notes

In your original example, the features are continuous. In that case, you need to find some way of assigning P(feature=value|class) for each class. You might consider fitting then to a known probability distribution (e.g., a Gaussian). During training, you would find the mean and variance for each class along each feature dimension. To classify a point, you'd find $P(feature=value|class)$ by plugging in the appropriate mean and variance for each class. Other distributions might be more appropriate, depending on the particulars of your data, but a Gaussian would be a decent starting point.

I'm not too familiar with the DARPA data set, but you'd do essentially the same thing. You'll probably end up computing something like P(attack=TRUE|service=finger), P(attack=false|service=finger), P(attack=TRUE|service=ftp), etc. and then combine them in the same way as the example. As a side note, part of the trick here is to come up with good features. Source IP , for example, is probably going to be hopelessly sparse--you'll probably only have one or two examples for a given IP. You might do much better if you geolocated the IP and use "Source_in_same_building_as_dest (true/false)" or something as a feature instead.

I hope that helps more. If anything needs clarification, I'd be happy to try again!

Simplifying the notation with $D$ denoting the data, we want to find which of various $P(C_j\mid D)$ is the largest. Now, Bayes' formula gives

$$P(C_j\mid D) = \frac{P(D\mid C_j)P(C_j)}{P(D)}, ~ j = 1, 2, \ldots$$ where the denominator on the right is the same for all $j$. If we want to find which of $P(C_1\mid D)$, $P(C_2\mid D), \ldots$ is the largest, we can, of course, compute each $P(C_j\mid D)$ and compare the values. But note that the comparisons are not really affected by the value of $P(D)$ which is the same in all cases. We could equally well compute all the $P(D\mid C_j)P(C_j)$ and compare (that is, without bothering to divide each $P(D\mid C_j)P(C_j)$ by $P(D)$ before the comparisons), and the same $C_j$ will be chosen as having the largest posterior probability. Put another way, the posterior probability $P(C_j\mid D)$ is proportional to the likelihood $P(D\mid C_j)$ times the prior probability $P(C_j)$ $$P(C_j\mid D) \propto P(D\mid C_j)P(C_j).$$ Finally, when the data $D$ is a collection of (conditionally) independent observations $(x_1, x_2, \ldots, x_d)$ given $C_j)$, we have that $$\begin{align*} P(D\mid C_j) &= P(x_1, x_2, \ldots, x_d\mid C_j)\\ &= P(x_1\mid C_j)P(x_2\mid C_j)\cdots P(x_d\mid C_j)\\ &= \prod_{1=1}^d P(x_i\mid C_j) \end{align*}$$

The main assumption behind the naive bayes model is that each feature (x_i) is conditionally independent of all other features given the class. This assumption is what allows us to write the likelihood as a simple product (as you have shown).

This is also what helps the naive bayes model generalize well in practice. Consider the training phase: if we did not make this assumption, then learning would involve estimating a complicated, high dimensional distribution: p(x1, x2, ..., xn, c) in which all of the features are jointly distributed. Instead, we can train by estimating p(x1, c), p(x2, c), ..., p(xn, c), since by knowing the value c makes the values of all the other features irrelevant (they provide no additional information about x_i).

I don't know a good way to visualize this (besides the standard graphical model notation), but to make it more concrete you can write some code to learn a Naive bayes model (you can grab some example data here). Train and test. Now drop the conditional independence assumption and modify the code. Train, test, and compare to the previous model.