ELK Stack (Logstash, Elasticsearch und Kibana) mit gleichzeitigem Remote-Syslog-Server?

8

Ich baue einen Log Analyzer-Dienst auf, um hauptsächlich unsere pfSense-Firewalls, XenServer-Hypervisoren, FreeBSD / Linux-Server und Windows-Server zu überwachen.

Im Internet gibt es eine Menge Dokumentation über den ELK-Stack und wie man ihn gut funktioniert. Aber ich würde es gerne anders verwenden, aber ich weiß nicht, ob es eine gute Lösung oder nur eine Verschwendung von Zeit / Speicherplatz ist.

Ich habe bereits einen FreeBSD 10.2-Computer, der als Remote-Syslog-Server fungiert, und meine Idee ist es, einfach alle Protokolle auf diesem Computer zu konzentrieren, und der Syslog-Server leitet die Protokolle logstash-forwarderan den ELK-Server weiter.

Mir ist klar, dass dieser Ansatz die Festplattenanforderungen für dieses Setup erhöht, aber andererseits habe ich nur einen Computer mit logstash-forwarderinstalliertem Daemon, was mir gut erscheint.

Aber über Probleme sprechen. Der logstashParser stimmt [host]mit dem Hostnamen des Servers überein, der die Protokollnachrichten sendet, und bei diesem Ansatz wird nur auf "Server" auf ELK, dem Remote-Syslog-Server, angezeigt.

Ich bin mir bewusst, dass ich die Einstellungen für die logstashKonfigurationsdateien anpassen kann, aber ich weiß nicht (und ich habe nicht die Erfahrung zu wissen), ob dies nur eine einfache Einstellung für die Parser ist, wenn dies die gesamte ELK gefährdet Erfahrung.

Am Ende möchte ich nur einige Ratschläge zu meiner Protokollierungsarchitektur und ob sie funktionieren wird oder ob ich auf eine andere Option verzichten sollte.

Danke im Voraus,

freebsd syslog logstash kibana elk Vinícius Ferrão
quelle
Ich bin mir sicher, dass das, was Sie tun möchten, möglich ist, aber Details zu dem Format, in dem Sie sich auf dem zentralen Syslog-Server anmelden, der Protokollierungsrate usw. wären großartig. Wenn Sie eine bestimmte Frage stellen, erhalten Sie viel bessere Antworten als wenn Sie einfach sagen: "Ich bin verloren, bitte helfen Sie".
GregL
Haben Sie über Graylog nachgedacht? Sie können die Graylog-Syslog-Eingabe verwenden, um Syslog in Elasticsearch aufzunehmen. Von dort aus können Sie Kibana verwenden und Graylog verfügt über einen Syslog / Pfsense-Extraktor.
Dave
Logstash hat auch eine Syslog- Eingabe ...
GregL

Antworten:

3

Ja. Es ist möglich, das hostFeld in der Logstash-Ausgabe mit rubyFilter ohne großen Aufwand zu ändern .

    ruby {
            code => "
                    event['host'] = event['message'].split(' ')[3]
                   "
    }

Hier habe ich in den Syslog-Serverprotokollen angenommen, dass das Hostfeld das vierte Feld ist, in dem Leerzeichen das Trennzeichen sind.

7171u
quelle