Event- und Log-Daten aufbereiten mit Logstash
Ab in den Index
Admins und Entwickler lieben Logs, mit denen sie Problemen und Fehlern auf die Spur kommen können. Wenn relevante Ereignisse allerdings verteilt über mehrere Rechner in unterschiedlichen Formaten protokolliert werden, macht das die Analyse arg umständlich. Logstash führt verschiedene Event-Quellen zusammen und füttert sie beispielsweise in einen Elasticsearch-Suchindex.
In einer komplexen IT-Landschaft werden permanent große Mengen an Ereignissen und Metriken in Log-Dateien und diversen Diensten protokolliert – leider verteilt über zahlreiche Rechner und in unterschiedlichen Formaten. Entsprechend mühsam ist es, sich ein umfassendes Bild über den aktuellen Zustand aller Systeme zu machen oder bei einem Fehler alle relevanten Logs zu sichten.
Viel bequemer ist es, wenn alle Logging-Informationen an einer Stelle zusammenlaufen und für die Suche und Auswertung mächtigere Werkzeuge als grep und Excel-Tabellen zur Verfügung stehen. Elasticsearch, ein auf Apache Lucene aufbauendes Softwareprojekt, bietet zahlreiche Funktionen für die verteilte Volltextsuche und Datenanalyse. Ausgestattet mit einer REST-Schnittstelle und einem ganzen Ökosystem an Werkzeugen für Datenaufbereitung, Visualisierung und Reporting, lässt es sich einfach in bestehende Softwarearchitekturen einbinden.