Ich muss einige große verrauschte Protokolldateien (500 m / Tag) von einer Java-Anwendung (log4j) aus überwachen. Im Moment schaue ich mir die Dateien manuell an, grep nach "ERROR" und so weiter. Ein Tool sollte jedoch in der Lage sein, sich wiederholende Muster in der Datei zu erkennen, zu zählen und einen Drilldown für die Details einzelner Einträge bereitzustellen. Kennt jemand ein solches Tool? Eine text- oder webbasierte Benutzeroberfläche wäre schön.
12
perl.Antworten:
Ich habe von Leuten gehört, die Bayes'sche Filterung auf Protokolldateien anwenden, um interessante Dinge im Vergleich zu routinemäßigen Protokolleinträgen zu erkennen. Sie verwendeten Spam-Filter, bei denen die routinemäßigen uninteressanten Einträge als "gut" eingestuft wurden, während die ungewöhnlichen als "Spam" eingestuft wurden und diese Farbe verwendeten, durch die sie wechseln konnten.
Es klingt für mich sehr nach maschinellem Lernen, aber andererseits habe ich es nicht in Aktion gesehen, sondern nur bei Bier davon gehört.
quelle
Splunk wirkt Wunder für diese Art von Sachen. Ich verwende es intern, um alle Protokolle zu sammeln und über die hervorragende browserbasierte Oberfläche schnell zu suchen.
quelle
syslog-ng verfügt über eine Funktion mit dem Namen patterndb. Sie können Muster erstellen und Protokolleinträge in Echtzeit mit ihnen abgleichen und diese Einträge dann an separate Protokolldateien senden.
quelle
Beim Betrachten von syslog-ng und patterndb (+1 auf diese Antwort oben) stieß ich auf ein webbasiertes Tool namens ELSA: http://code.google.com/p/enterprise-log-search-and-archive/ . Es ist F / OSS in Perl, mit einer Weboberfläche und soll sehr schnell sein.
Ich habe es noch nicht ausprobiert, aber sobald ich mit patterndb gefiltert bin, werde ich ELSA ausprobieren.
quelle
Probieren Sie Petit aus .
Ich bin nicht sicher, ob es mit dem log4j-Format funktioniert, aber Sie können möglicherweise einen benutzerdefinierten Filter dafür schreiben.
Petit hat keine Weboberfläche, es zeigt Grafiken in Ihrer Shell an (ASCII art ftw!).
Es ist sehr nützlich, sich schnell wiederholende Nachrichten zu sehen und herauszufinden, wann sie häufiger auftraten oder häufiger auftraten.
quelle
Wenn Sie Debian / Squeeze auf Ihrem Server verwenden, sehen Sie sich log2mail an: http://packages.debian.org/squeeze/log2mail
quelle
Glogg ist ein sehr guter Protokoll-Explorer, da Sie die Möglichkeit haben, eine Filterbasis auf Zeichenfolge und Farblinie zu erstellen oder alle Vorkommen einer Zeichenfolge abzurufen.
quelle
Splunk ist normalerweise eine gute Lösung dafür. Aber Sie haben erwähnt, dass es Ihnen zu teuer ist. Ich empfehle Ihnen daher, sich Logstash oder GrayLog anzusehen .
quelle
Sie können den LogXtender von SEQREL ausprobieren, der automatisch Muster erkennt und ähnliche Protokolle aggregiert. Der Weg besteht darin, reguläre Ausdrücke im laufenden Betrieb zu erstellen und den zwischengespeicherten regulären Ausdruck zu verwenden, um mit anderen Protokollen übereinzustimmen. Mit zusätzlicher Taxonomieerkennung kann mehr Granularität hinzugefügt werden. Eine kostenlose Version kann unter https://try.logxtender.net heruntergeladen werden .
quelle