Wie lerne ich die Erkennung von Spam-E-Mails?

Ich möchte erfahren, wie ein Spam-E-Mail-Detektor funktioniert. Ich versuche nicht, ein kommerzielles Produkt zu bauen, es wird eine ernsthafte Lernübung für mich sein. Daher suche ich nach Ressourcen wie vorhandenen Projekten, Quellcode, Artikeln, Artikeln usw., denen ich folgen kann. Ich möchte anhand von Beispielen lernen, ich glaube nicht, dass ich gut genug bin, um es von Grund auf neu zu machen. Idealerweise möchte ich mir auf Bayesian die Hand schmutzig machen.

Gibt es so etwas? Programmiersprache ist für mich kein Problem.

Überprüfen Sie dies zunächst sorgfältig. Sie finden einen einfachen Datensatz und einige Artikel, die Sie überprüfen können.

ABER da Sie ein einfaches Lernprojekt starten möchten, empfehle ich, keine Papiere durchzugehen (die offensichtlich nicht grundlegend sind ), sondern Ihren eigenen Bayes'schen Lernenden aufzubauen, was nicht so schwierig ist.

Ich persönlich schlage Andrew Moores Vorlesungsfolien zu probabilistischen grafischen Modellen vor, die frei verfügbar sind und aus denen Sie einfach und Schritt für Schritt lernen können.

Wenn Sie detailliertere Hilfe benötigen, kommentieren Sie einfach diese Antwort und ich helfe Ihnen gerne weiter :)

Viel Spaß beim baysischen Lernen!

In Andrew Ngs maschinellem Lernkurs über Coursera (in gewisser Weise der Flaggschiffkurs für Coursera) war die Programmiererübung für Support Vector Machines ein Beispiel für einen Spam-Klassifikator. Die Vorträge sind großartig, sogar berühmt und sehenswert.

Es gibt auch diesen geposteten Kurs von ihm:

http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex6/ex6.html

Eine grundlegende Einführung in die Bayes'sche Methode zur Spam-Erkennung findet sich in dem Buch "Doing Data Science - Geradliniges Sprechen von der Front" von Cathy O'Neil, Rachel Schutt.

Das Kapitel ist gut, weil es erklärt, warum andere gängige datenwissenschaftliche Modelle für Spam-Klassifizierer nicht funktionieren. Das ganze Buch verwendet R durchgehend. Nehmen Sie es also nur auf, wenn Sie an einer Arbeit mit R interessiert sind.

Das Enron-E-Mail-Set wird als Trainingsdaten verwendet, da E-Mails bereits in Spam / Nicht-Spam unterteilt sind.

Dies ist tatsächlich ein wirklich tiefgreifendes Problem, an dem viele Menschen und Unternehmen gearbeitet haben. Hier sind einige Grundlagen:

$d$

Jetzt befinden sich die Daten in einem nützlichen Raum, aber in einem wirklich hochdimensionalen Raum. Ich würde empfehlen, diese Dimensionalität irgendwie zu reduzieren, aber das ist ein ganzes Thema für einen anderen Thread.

Schließlich könnten Sie einen Algorithmus trainieren, um die Stichproben zu klassifizieren (worum es in den anderen Antworten geht). Es gibt viele gute Möglichkeiten - Neuronale Netze, Adaboost, SVMs, Naive Bayes und grafische Klassifizierungsmodelle liefern gute Ergebnisse. Viele davon haben auch Implementierungen in Scikit-Learn.

Die besten Algorithmen nutzen jedoch die Tatsache, dass es sich bei diesem Problem tatsächlich um ein Transfer-Lernproblem handelt. Das heißt, die Verteilungen, aus denen die Trainings- und Testdaten stammen, sind möglicherweise nicht genau gleich. Die Art der Dinge, die eine Person für Spam hält, unterscheidet sich möglicherweise von der Art der Dinge, die eine andere Person für Spam hält.