Loggen mit dem Elastic Stack

Der ELK Stack ist ein oft genutzter Baukasten von Tools zur Aggregation und Auswertung von Logdateien (und mehr). Mit den umfangreichen Möglichkeiten zur Suche und Analyse der gesammelten Daten bietet Elasticsearch eine perfekte Basis, die mit Kibana um eine leistungsstarke und zugleich einfach zu bedienende Oberfläche ergänzt wird.

In diesem Workshop bauen wir gemeinsam Schritt für Schritt die komplette Archituktur zum zentralen Sammeln und Auswerten von Logs auf und erstellen erste Auswertungen auf den Daten.

Bei ausreichend Zeit ergänzen wir den Standard-Stack noch um Kafka als Message Bus und betrachten, welche zusätzlichen Möglichkeiten dieses System mit sich bringt.

Für den praktischen Teil der Veranstaltung werden ec2 Server bereitgestellt, daher ist die einzige technische Voraussetzung, die Teilnehmer mitbringen müssen, ein SSH-Client.

Skills
Grundlegende Linux-Kenntnisse sind erforderlich.

Lernziele
* Wie kann ich eine umfassende Log-Infrastruktur mit Open-Source-Tools erstellen?
* Welche Auswertungsmöglichkeiten bietet mir der ELK-Stack?
* Ggfs. die Verwendung von Kafka in Verbindung mit dem ELK-Stack

// Referent

// Sönke Liebau
@SoenkeLiebau

hat seit 2009 als Analyst in der Finanzbranche gearbeitet und Unternehmen dabei unterstützt, Anforderungen an datengetriebene Lösungen zu verstehen und diese umzusetzen. 2013 konzeptionierte und implementierte er eine Monitoring-Lösung für mehr als 4000 Geldautomaten und Service-Terminals auf Basis von Elasticsearch und dem umgebenden Ökosystem. Seitdem beschäftigt sich Sönke damit, seine Kunden dabei zu unterstützen, Lösungen umzusetzen, mit denen existierende und neue Daten aggregiert, auswertbar und durchsuchbar gemacht werden, um das vorhandene Erkenntnispotential voll auszuschöpfen. Er ist außerdem Gründer und Organisator der Frankfurt Elasticsearch Usergroup und hat auf anderen Meetups gesprochen. 2016 hat Sönke OpenCore als Partner mitgegründet.