Der neue Spamfilter
Erfahrungen, Empfehlungen, Einstellungen

von Peter Marksteiner (Ausgabe 06/3, Oktober 2006)

 

Am 16. Juni 2006 ist an der Uni Wien ein neuer Spamfilter in Betrieb gegangen, der im Comment 06/2 vorgestellt wurde.1) Dieser Spamfilter verwendet eine Kombination verschiedener Methoden zur Spambekämpfung; die wichtigsten davon sind Greylisting (temporäres Abweisen verdächtiger Nachrichten) sowie eine Bewertung anhand verschiedener formaler und inhaltlicher Kriterien durch das Programm SpamAssassin: Je mehr Punkte SpamAssassin vergibt, desto größer ist die Wahrscheinlichkeit, dass es sich bei einer Nachricht um Spam handelt. Im Folgenden wird über die ersten Erfahrungen mit dem neuen Spamfilter im Produktionsbetrieb berichtet, und es werden einige Tipps zur Wahl der optimalen Einstellungen gegeben.

Erste Erfahrungen: Ein Monat Spam

Wie viel Spam filtert der neue Spamfilter? Um meinen subjektiven Eindruck - deutlich weniger Spam - durch harte Zahlen zu untermauern, habe ich einen Monat lang (vom 16. Juni bis zum 16. Juli 2006) alle Spam-Nachrichten, die an mich zugestellt wurden, gewissenhaft gesammelt. Nachdem ich eMail an sehr viele verschiedene Adressen erhalte und die Charakteristika von Spam weitgehend konstant sind, lassen sich daraus recht verlässliche Rückschlüsse auf die Trefferquote insgesamt ziehen. Die Bewertung dieser Nachrichten durch SpamAssassin ist in der Abbildung rechts zu sehen:

  • Der maximale Wert des X-Univie-Spam-Level (das ist jenes Kriterium, nach dem der Spamfilter die Nachrichten filtert) ist 51: Bei Werten von mehr als 50 handelt es sich ganz sicher um Spam, deshalb wird die Darstellung dort abgeschnitten. Der numerische Wert des X-Univie-Spam-Score, von dem der X-Univie-Spam-Level abgeleitet ist, kann auch höher sein: Der höchste bis jetzt beobachtete Wert ist 73,4.
  • Von 1907 Nachrichten wurden 1593 als Spam erkannt (d.h. ihr X-Univie-Spam-Score ist mindestens 8,0). Das entspricht einer Trefferquote von 83,5% bzw. einer Reduktion von 64 auf 10 Spam-Nachrichten pro Tag.
  • 1119 Nachrichten (58,6%) haben einen X-Univie-Spam-Score von mindestens 15,0; diese würden bei Verwendung der Standard-Einstellungen des Spamfilters sofort gelöscht werden.
  • 314 Nachrichten wurden nicht als Spam erkannt; von diesen haben relativ viele (134) einen X-Univie-Spam-Score von mindestens 6,0. Wählt man 6 als Grenzwert, ab dem Nachrichten gefiltert werden (siehe unten), so erhöht sich dadurch die Trefferquote auf 90,5%.

Diese Trefferquoten beziehen sich nur auf jene Spam-Nachrichten, die bereits die ersten Hürden (Überprüfung auf Einhalten des Protokolls, Greylisting) überwunden haben. Wie viel Spam an diesen Hürden scheitert, lässt sich nur grob abschätzen: An einem typischen Arbeitstag werden etwa 150 000 Nachrichten sofort abgewiesen, 250 000 durch Greylisting verzögert zugestellt oder abgewiesen, etwas mehr als 100 000 Nachrichten insgesamt werden zugestellt. Von diesen werden etwa 20 000 von SpamAssassin als Spam erkannt. Nimmt man 20% nicht erkannte Spam-Nachrichten an, so werden von etwa 400 000 Zustellversuchen ungefähr 25 000 Spam-Nachrichten tatsächlich zugestellt (die automatisch generierten Statistiken des neuen Spamfilters können unter http://mailstats.univie.ac.at/ abgerufen werden). Um es kurz zusammenzufassen: Mehr als 90% aller Spam-Nachrichten scheitern bereits eingangs am Greylisting und anderen Maßnahmen; von den verbleibenden 5&nbsp- 10% werden etwa 80% vom SpamAssassin als Spam markiert, bei verschärften Einstellungen etwa 90%. Insgesamt ergibt sich daraus eine Trefferquote von 96 - 99%. Für eine große und heterogene Institution wie die Universität Wien ist das ein sehr respektabler Wert - viel mehr lässt sich mit serverseitiger Filterung alleine wohl kaum erreichen.

Einstellungen

Der neue Spamfilter muss unter www.univie.ac.at/ZID/spamfilter-webmaske/ aktiviert werden; dabei lässt sich seine Funktion über einige Parameter steuern. Bei den empfohlenen Standard-Einstellungen werden Nachrichten ab einem Spam-Level von 8 in einen eigenen Spam-Ordner (Junk Folder) verschoben und ab einem Spam-Level von 15 automatisch gelöscht (nicht zugestellt). Diese Standard-Einstellungen sind wohl nie ganz falsch. Nachdem es aber große Unterschiede gibt - manche erhalten hunderte Spam-Nachrichten pro Tag, andere fast gar keine -, sind individuelle Anpassungen oft von Vorteil.

Spam-Level und False Positives

Die Wahl des optimalen Spam-Level, ab dem Nachrichten gelöscht bzw. in den Spam-Ordner verschoben werden, ist ein Balanceakt zwischen Effizienz und der Gefahr von False Positives (das sind legitime Nachrichten, die fälschlicherweise als Spam klassifiziert werden). Nach unseren Erfahrungen sind False Positives bei einem Spam-Level von 8 oder mehr äußerst selten. Wer dann immer noch viel Spam erhält, kann es mit 7 oder 6 versuchen; ein niedrigerer Wert ist nicht zu empfehlen. Wie groß die Gefahr von False Positives ist, hängt auch davon ab, mit wem man korrespondiert: Hat man viele internationale Kontakte, vor allem in Entwicklungsländern, ist sie verständlicherweise größer. Zur Vermeidung von False Positives kann auch das neue Whitelist-Feature des Spamfilters verwendet werden: Damit wird sichergestellt, dass Nachrichten, die bestimmten Kriterien genügen (Absender, Betreff) auf jeden Fall zugestellt werden. Eine reale Gefahr von False Positives gibt es höchstens bei akademischen eMail-Diskussionen über Spam: Wenn Sie eine Spam-Nachricht an einen Freund weiterschicken ("Ich habe da so eine seltsame Mail bekommen - weißt du, was das soll?"), kann es durchaus passieren, dass diese nie ankommt.2)

Nicht zustellen

Bei hinreichend hohem Spam-Level ist das Risiko von False Positives extrem gering, deshalb können solche Nachrichten gefahrlos ungelesen gelöscht werden. Der einzige Nachteil dieser Methode ist, dass im (unwahrscheinlichen) Fall einer fälschlicherweise gelöschten legitimen Nachricht weder der Absender noch der Empfänger etwas davon merken. Hier empfiehlt sich unter Umständen ein "Probelauf": Lassen Sie die Nachrichten eine Zeitlang nicht löschen, sondern nur in einen eigenen Ordner verschieben,3) und aktivieren Sie das automatische Löschen erst, wenn Sie sich überzeugt haben, dass keine legitimen Nachrichten in diesem Ordner gelandet sind.

Spam-Ordner

Ein Junk Folder ist nur dann sinnvoll, wenn er auch von Zeit zu Zeit kontrolliert wird. Falls sich die Zahl der in diesen Ordner verschobenen Nachrichten in Grenzen hält, ist es durchaus zu empfehlen, ganz darauf zu verzichten: Es macht wohl kaum mehr Mühe, täglich zwei oder drei Spam-Nachrichten aus dem Posteingang zu löschen, als einmal in der Woche den Junk-Folder zu leeren. Wenn die Belästigung durch Spam sehr gering ist, kann der Spamfilter auch komplett deaktiviert werden.

Weiterleitungen

Bei Weiterleitungen ist Folgendes zu beachten:

  • Weiterleitung von einer externen Mailadresse (z.B. name@myprovider.com) an eine Uni-Adresse (z.B. vorname.nachname@univie.ac.at): Hier sind Greylisting und andere Maßnahmen, mit denen Spam gleich beim Eintreffen abgewehrt wird, meist nicht wirksam, weil die Nachrichten von einem legitimen Mailserver von myprovider.com entgegengenommen werden. Deshalb ist insgesamt mit einer geringeren Trefferquote zu rechnen, da nur SpamAssassin zum Einsatz kommt (mehr als zwei Drittel der erwähnten 1907 Spam-Nachrichten habe ich über externe Adressen empfangen).
  • Weiterleitung von einer Uni-Mailadresse (z.B. vorname.nachname@univie.ac.at) an eine externe Adresse (z.B. name@myprovider.com): Dabei kommen alle Maßnahmen wie Greylisting und Markieren durch SpamAssassin zum Tragen, nicht jedoch das automatische Filtern. Hier ist also eine Filterung durch das Mailprogramm des Empfängers erforderlich.

Trotz des großen Erfolges des neuen Spamfilters werden wir uns nicht auf unseren Lorbeeren ausruhen: Spammer denken sich immer wieder neue Tricks aus, mit denen sie Spamfilter umgehen können. Daher sind laufend Anpassungen und Verbesserungen erforderlich, um die Trefferquote zumindest zu halten bzw. nach Möglichkeit noch weiter zu erhöhen.

 

1) siehe Artikel Wenn der Postmann zweimal klingelt in Comment 06/2

2) Dasselbe gilt bei Beschwerden über Spam: Aus diesem Grund werden Nachrichten an abuse@univie.ac.at (das ist jene Adresse, an die Beschwerden über Spam aus dem Uni-Netz geschickt werden sollen) nicht gefiltert.

3) Wenn Sie von den beiden Funktionen des Spamfilters (In einen Ordner verschieben bzw. Nicht zustellen) nur eine aktivieren wollen, dann tragen Sie bei der anderen als Spam-Level den Wert 99 ein: Keine Nachricht kann einen so hohen Spam-Level haben, weil der höchste mögliche Wert 51 beträgt.