Ist Greylisting immer noch eine effiziente Methode zur Verhinderung von Spam?

50

Ich habe jahrelang Greylisting auf meinen Servern verwendet, aber ich weiß nicht, wie effektiv es heutzutage ist.

Ist es auch 2012 noch gut gegen Spam?

Oder kann der typische Spammer-MTA jetzt E-Mails mit grauer Liste erneut senden?

neu242
quelle
2
@Michael: Zur Bekämpfung von Spam. Lesen Sie die Frage :)
neu242
1
Wir können uns in einer anderen Frage mit den Vor- und Nachteilen des Greylistings befassen :)
neu242
1
Ich habe den Titel leicht geändert. Sieht es jetzt besser aus?
neu242
2
@MichaelHampton Äh, Punkt von Interesse ... Welche Spam-Präventionsmaßnahmen wenden Sie an, die den CEO nicht dazu veranlassen, sich zu beschweren? Oder vielleicht, wenn es angemessener ist, welche Art von CEO ist das nicht?
HopelessN00b
1
@ HopelessN00b Unser CEO ist nicht so. Ich würde die Persönlichkeit oder das Verhalten eines Menschen nicht nur nach seinem Beruf beurteilen.
Darvids0n

Antworten:

6

Ein Update von 2018:

Ich war immer ein großer Fan von Greylisting. Aus diesen Gründen:

  • Es markiert nicht nur Spam, es blockiert ihn.
  • Die Nutzung als Dienstleister in Deutschland ist legal (im Gegensatz zum Löschen von Spam-Mails nach dem Empfang)
  • Es ist einfach und effektiv.
  • Es erhöht die Belastung des Spammers und nicht des empfangenden Mailservers. Auch wenn die Spammer es durch Ihr Greylisting schaffen, haben Sie ihre Maschine gezwungen, härter zu arbeiten, und so können sie insgesamt weniger Spam versenden.
  • Im Gegensatz zu IP-basierten RBLs usw. werden fast keine legitimen E-Mails blockiert.
  • Es führt zu Verzögerungen, aber Sie können Clients (Sendeserver) von häufigen Kontakten und Empfängern, die wirklich E-Mails benötigen, mit minimaler Verzögerung auf eine Whitelist setzen. Denken Sie daran, dass die Verwendung eines Spamfilters wie Spamassasin direkt für alle Ihre E-Mails (ohne Greylisting) auch Verzögerungen für legitime E-Mails verursachen kann: Einige Spammer senden so viele E-Mails an Ihren Server, dass der Spamfilter überlastet wird. Somit wird ein temporärer Fehler (zB 451) an den sendenden Server von weiteren eingehenden Mails gesendet. Dies hat die gleichen Auswirkungen wie das Greylisting, dh Mails werden verzögert, mit der Ausnahme, dass das Whitelisting nicht so einfach ist. Natürlich können Sie einen Cloud-Spam-Filter verwenden, der sich auf die Leistung des Spammers skalieren lässt. Dies kann jedoch teurer sein.
  • Begrenzte oder keine Wartung erforderlich. Keine schwarze Liste, die im Laufe der Zeit aktualisiert und geändert werden muss. Keine musterbasierten Regeln, die aktualisiert werden müssen.

Leider sehe ich in meinen Statistiken, dass das Greylisting in diesem Jahr immer weniger effektiv wird. Die Anzahl der verspäteten Nachrichten nähert sich sehr schnell der Anzahl der grau aufgelisteten Nachrichten, was bedeutet, dass die Anzahl der blockierten Spam-Nachrichten abnimmt.

Im letzten Jahr (365 Tage) schafften es 55% der grau aufgelisteten Nachrichten durch Greylisting, dh 45% wurden blockiert.

Mailgraph Statistik Jahr

Mailgraph Statistik Jahr

Beachten Sie, dass dieses Diagramm einen Zeitrahmen enthielt, in dem grau aufgelistete Nachrichten aufgrund eines Konfigurationsfehlers von mailgraph nicht gezählt wurden, sondern nur verzögerte. Dies bedeutet, dass diese Berechnung verspätete Nachrichten ein wenig überschätzt, tatsächlich wurden ein wenig mehr Mails blockiert.

Im letzten Monat haben sich 64% verspätet und nur 36% wurden gesperrt.

Mailgraph Statistik Monat

Mailgraph Statistik Monat

In der letzten Woche haben sich 75% verspätet und nur 25% wurden geblockt.

Mailgraph Statistik Woche

Mailgraph Statistik Woche

Betrachtet man außerdem die Gesamtzahl der blockierten Nachrichten: In diesem Monat blockierte Greylisting 4 411 Nachrichten, aber Amavisd (spamassasin) blockierte 22 763 Nachrichten. Dies bedeutet, dass nur 16% des Spam durch Greylisting blockiert werden, der Rest durch amavisd.

Darüber hinaus senden immer mehr Cloud-Sendeanbieter von mehreren hundert IP-Adressen aus. Sie versuchen jeden Übertragungsversuch von einer anderen IP. Daher kann Greylisting diese Mails für gerade Tage blockieren. Daher müssen Sie alle "guten" E-Mail-Anbieter auf die Whitelist setzen. Dies bringt neuen Wartungsaufwand mit sich.

Ich war schon immer ein großer Fan von Greylisting, aber leider sehe ich, dass es immer weniger effektiv ist und ich denke, dass ich es bald deaktivieren werde, da es nur 14% meiner Mails unnötig verzögert, ohne viel Spam zu blockieren .

Die irreführenden Statistiken

Die Anzahl der blockierten Mails in meinen (und Ihren) Statistiken kann ebenfalls stark irreführend sein. Nehmen wir eine E-Mail, die von einem großen Cloud-Mail-Anbieter stammt (wie Microsoft * .outbound.protection.outlook.com), der noch nicht auf der Whitelist steht. Der erste Versuch schlägt fehl. Der zweite und dritte Übertragungsversuch stammen von zwei anderen Servern (IPs), sodass er erneut fehlschlägt, da das Triplet nicht übereinstimmt. Nun kommt der vierte Versuch wieder vom ersten Server und ist erfolgreich. Dies wird als eine verzögerte Übertragung und vier grau unterlegte Nachrichten gezählt. Meine obigen Berechnungen ergaben, dass 1/4 = 25% der grau aufgelisteten Nachrichten verzögert und 3/4 = 75% blockiert wurden. Tatsächlich wurde jedoch keine einzige Nachricht blockiert. Jetzt setzen wir die Server dieser E-Mail-Anbieter auf eine Whitelist, damit sie nicht mehr in die Grauliste aufgenommen werden. Was passieren wird, ist, dass die Anzahl der grau aufgelisteten Nachrichten mehr sinkt als die Anzahl der verspäteten Nachrichten. Dies bedeutet, dass die Anzahl der von uns berechneten blockierten Nachrichten sinkt. Es stimmt jedoch nicht, dass weniger Nachrichten blockiert wurden.

Tatsächlich habe ich seit Februar 2017 immer mehr Cloud-Mail-Anbieter in die Whitelist aufgenommen, um das Problem der langen Verzögerungen aufgrund von Greylisting zu bekämpfen. Dies kann (teilweise?) Erklären, warum die Anzahl der blockierten Mails, die ich berechne, rapide abnimmt. Also dachte ich vielleicht die ganze Zeit, dass Greylisting viel Spam blockiert, aber die Menge an blockiertem Spam war die ganze Zeit viel geringer, es wurde einfach falsch berechnet. Seien Sie also vorsichtig, wenn Sie Ihre Statistiken interpretieren.

Christopher K.
quelle
1
Das ist sehr interessant - vielen Dank für die Veröffentlichung der Forschung!
Jenny D sagt Reinstate Monica
+1 von mir - Zeit, meine Daten zu überprüfen. Ich bin damit einverstanden, dass diese verdammt nervigen Leute, die E-Mails auf ihren internen Servern abrufen, damit jeder Versuch von einem anderen Server kommt, die Daten verzerren. Ich bin mir nicht sicher, ob ich Ihren letzten Abschnitt kaufe. Dies scheint zu argumentieren, dass alle oder die meisten offensichtlichen Vorteile von Greylisting durch das Überzählen eingehender E-Mails verursacht werden.
MadHatter
Statistiken für meinen privaten Mailserver für das letzte Jahr (Stand Juli 2019) zeigen, dass nur 15% der Nachrichten verzögert und 85% blockiert wurden. Ich habe mir die blockierten Absender angesehen und sie sehen aus wie Spammer. Ich liste jedoch nicht alles auf, sondern nur Absender, die von RBLs auf die schwarze Liste gesetzt wurden (zen.spamhaus.org, spam.dnsbl.sorbs.net und psbl.surriel.com). Gut konfiguriertes Greylisting scheint immer noch effizient zu sein.
Michau
1
@michau Sicher, verdächtige Mails mit Greylists zu versehen ist effizienter als alles mit Greylists zu versehen. Rspamd ist ein interessanter, ziemlich neuer Spamfilter, der es ziemlich gut macht. Es listet Mails auf, die einen niedrigen Spam-Score erreichen. So wie Sie würde es auch Graulisten-Mails von RBL-gelisteten Absendern geben (solange die Mail nicht hoch genug für eine Ablehnung ist). Es würde aber auch Graulisten-Mails geben, die einigen Spam-Regeln entsprechen, aber nicht hoch genug für eine Ablehnung sind.
Christopher K.
55

Das habe ich mir zuletzt im Juli dieses Jahres (2012) quantitativ angeschaut. Im Juli erhielt mein Mailserver ungefähr 46.000 Versuche, E-Mails zuzustellen. Davon kehrten etwa 1.750 zurück und wurden vom Greylisting zugelassen (und bestanden gültige Absenderdomäne, SPF und einige andere nicht inhaltsbasierte Tests). Davon wurden ungefähr weitere 1.500 durch meine inhaltsbasierte Filterung gefiltert.

Unter der Annahme, dass diese 44.250 E-Mails Spam waren (da sie kein Greylisting bestehen konnten, halte ich das für eine faire Annahme), hätte meine inhaltsbasierte Filterung ohne das Greylisting 46.000 anstatt 1.750 E-Mails bewältigen müssen.

Eine fünfundzwanzigfache Auslastung meiner inhaltsbasierten Filterung würde bedeuten, dass ich viel leistungsfähigere CPUs und mehr Arbeitsspeicher benötige. Das wiederum würde meine monatlichen Hosting-Kosten aufgrund des zusätzlichen Stromverbrauchs (und wahrscheinlich der Größe des Servers) erhöhen.

Kurz gesagt, das letzte Mal, als ich gezählt habe, ergab Graulisten immer noch einen sehr, sehr guten Sinn als Teil eines vollständigen Spam-Filtersystems . Ich habe es in den letzten Wochen für Kunden aktiviert und alle sind sehr zufrieden mit der Entlastung ihrer inhaltsbasierten Filtersysteme.

Bearbeiten : Ich stelle fest, dass ich die Frage, ob es im Laufe der Zeit weniger effektiv wird, nicht beantwortet habe. Als ich es Ende 2006 einschaltete, schätzte ich damals, dass etwa 95% des Spam herausgefiltert wurden. 1.750 als ein Anteil von 46.000 ist ungefähr 4%, so dass meine Daten darauf hindeuten, dass es in diesem Zeitraum nicht weniger effektiv wird.

MadHatter
quelle
2
Genau die Art von Antwort, nach der ich gesucht habe. Vielen Dank!
Neu242
3
Ich denke, es ist sehr sinnvoll, dies in Ihrer speziellen Situation quantitativ zu betrachten. Ich habe gerade nachgesehen und mein Mailserver sieht sehr unterschiedliche Zahlen: Insgesamt für August und September, 460214 5xx Ablehnungen, 12331 4xx Ablehnungen und 22665 Ablehnungen. Somit werden 4,6% akzeptiert und nur 2,6% der Spam-Mails (bestenfalls) durch Greylisting blockiert. Die 5xx-Ausschüsse werden von 8,4% unbekannten Nutzern und> 90% RBL dominiert. (Und ich verwende nicht einmal extrem aggressive RBLs. Ein ganz überwältigender Teil der RBL-Blöcke ist XBL .) Andererseits schafft es der von RBLs erfasste Verkehr nie in die Graulisten.
ein Lebenslauf vom
7
Interessant, aber ich kann keinen direkten Vergleich anstellen, da ich grundsätzlich keine RBL als Brightline-Test für den Empfang verwende. Ich benutze sie nur als Mitwirkende für einen Spamassassin-Score. Ich selbst war aus völlig falschen Gründen zu oft bei RBLs, um den Betrieb meiner eigenen Post einer anderen Person anzuvertrauen. Wenn wir jedoch davon ausgehen würden, dass all diese XBL-Ablehnungen von Fire-and-Forget-Botnetzen stammen, würden Sie vergleichbare Prozentsätze für mich sehen, wenn Sie wie ich zuerst eine Grauliste erstellen.
MadHatter
1
Ja, ich habe nachdrücklich darüber nachgedacht, es so zu ändern, dass es nur ein Spam-Ergebnis beisteuert und sich auf Greylisting verlässt, und zwar aus genau dem Grund, den Sie erwähnen. Dies negiert jedoch nicht meinen Standpunkt, dass verschiedene Server möglicherweise sehr unterschiedliche Datenverkehrsmuster sehen und der einzige Weg, um wirklich zu wissen, ob Greylisting effektiv ist, besteht darin, es aus der Sicht Ihres speziellen Setups zu betrachten.
ein Lebenslauf
1
Ich würde wieder anderer Meinung sein, aber ich stimme Ihnen wirklich vollkommen zu. Für alle Benutzer besteht der beste Weg, um herauszufinden, ob es sich um eine effektive Technik in Ihrem Nachrichtenfluss handelt, darin , sie in Ihrem Nachrichtenfluss zu testen und zu messen - Michael spricht mit Bedacht!
MadHatter
8

Spambots führen normalerweise immer noch keine Nachrichtenwarteschlangen durch, aber einige von ihnen senden den Spam nur zweimal mit ein paar Minuten Verzögerung an jeden Empfänger, um Greylisting zu verhindern. Außerdem ist Spam von Spambots heutzutage nicht mehr das eigentliche Problem. Spam von kompromittierten Yahoo-Konten usw. ist viel schwerer zu fangen.

Unter diesem Gesichtspunkt ist Greylisting nicht mehr so ​​effektiv wie früher. In Kombination mit anderen Anti-Spam-Techniken kann es weiterhin hilfreich sein, wenn sich Ihre Domain beispielsweise häufig im "ersten Stapel" von Spam-Kampagnen befindet. Durch das Greylisting kann die Nachricht so lange verzögert werden, dass Domain- / IP-Blacklists aufholen Beim ersten Verbindungsversuch wäre Spam durch Ihre Filter gerutscht. Beim zweiten Versuch wird er möglicherweise erkannt.

Gryphius
quelle
Die überwiegende Mehrheit der Spam-Zustellungsversuche, die ich erhalte, kommt von Spambots. Ich verwende andere Techniken, um Spambots zu entmutigen und die meisten geben auf, bevor sie in die Grauliste aufgenommen werden können. Auf meinem Server blockiert Greylisting immer noch etwa die Hälfte der Absender, es verarbeitet. Ich befreie Absender, bei denen festgestellt werden kann, dass sie mit hoher Wahrscheinlichkeit das Greylisting bestehen.
BillThor
5

Als tangentiales Problem mag ich es nicht, eine Technik wie Greylisting eingesetzt zu haben, ohne ihre Wirksamkeit messen zu können. Unter Debian können Sie mit Postfix als MTA und Postgrey als Greylisting-Richtlinienengine apt-get install mailgraphein einfaches Diagramm von akzeptierten und abgelehnten E-Mails erstellen . Mailgraph ist ein bisschen altmodisch und völlig eigenständig, aber es funktioniert und seine Daten oder Techniken könnten leicht in ein komplexeres modernes Überwachungssystem integriert werden.

Paul Gear
quelle
3

Holen Sie sich einen Reputation-basierten Mail-Filter. Greylisting ist ein bisschen old-school und ist keine umfassende Lösung. Es gibt Problemumgehungen (aus Sicht des Spammers) und unvorhersehbare E-Mail-Zustellzeiten für Ihre Benutzer ...

Sie können die Filterung entweder an einen Cloud-Dienst auslagern oder eine Appliance kaufen, die Zugriff auf eine solche Liste hat und über andere Methoden zur Überprüfung von Spam verfügt. Normalerweise empfehle ich Barracuda für die Appliance oder die Cloud-Filterlösung . Beide Optionen haben Skaleneffekte und ausgereifte Heuristiken, die eine sauberere Gesamtlösung bieten.

Betrachtet man einen Bericht des Barracuda Spam Filters meines Kunden für September 2012, so wurden von 98.457 Nachrichten 1.623 abgeschnitten, bevor sie wegen schlechter Empfänger überhaupt auf den Mailserver gelangten ... 34.488 wurden als SPAM blockiert . Nur 96 fragwürdige Nachrichten haben es geschafft. Als Spam eingestuft wurden eine Kombination aus Reputation, Punktzahl, Absicht, drei RBLs , Bayes'scher Filterung und benutzerdefinierten Regelsätzen. Alles in einer Einheit ... Alles verarbeitet, bevor der relativ kleine Mailserver erreicht wird.

Bildbeschreibung hier eingeben

Siehe auch: Bekämpfung von Spam - Was kann ich als: E-Mail-Administrator, Domäneninhaber oder Benutzer tun?

ewwhite
quelle
2
Interessant, aber Sie beantworten meine Fragen zum Greylisting nicht. Und deine Statistiken ohne Greylisting-Zahlen sind hier nicht sehr relevant :)
neu242
@ neu242 Der Punkt ist, dass 1). Greylisting hat bekannte Nachteile, 2). kann nicht als ganze Lösung betrachtet werden und 3). Es gibt bessere Möglichkeiten, Spam zu erkennen, da sich die Prozesse in den letzten Jahren weiterentwickelt haben.
Ewwhite
4
Greylisting ist natürlich nur ein Teil meines Spam-Präventions-Toolkits. Mein Setup ist dem von @ MadHatter sehr ähnlich. Da ich aber speziell nach Greylisting gefragt habe, erwarte ich eine Art von greylistenspezifischen Antworten.
neu242
1
@ewwhite: eigentlich verstehe ich nicht, wie es eher nicht klar war. Zu Ihrer Information: Ich habe den Fragenverlauf überprüft. Ich habe keine Änderung festgestellt, die dies in irgendeiner Weise beeinflusst hätte.
Jürgen A. Erhard
2
@ JürgenA.Erhard Du bist etwas spät dran. Und dein Beitrag ist unhöflich. Jede professionelle Spam-Filterlösung, die heute implementiert wird, sollte sich nicht nur auf Greylisting verlassen. Wenn Sie weitere Bedenken haben, lesen Sie hier die Frage zum kanonischen Serverfehler-Spam .
ewwhite