Elasticsearch Watcher Hands-on: Ein Use Case der anderen Art

In der dynamischen Welt der Daten sind gute Werkzeuge zum Monitoring und Alerting unverzichtbar. Viele Tools bieten Möglichkeiten, Daten aus verschiedenen Systemen zu sammeln und zugänglich zu machen – so auch der Elastic Stack. Transformation und Aggregation kann dabei an verschiedenen Stellen passieren. Ein Werkzeug innerhalb des Elastic Stacks, das sicher nicht primär als Datentransformator bekannt ist, ist die Funktion "Watcher". Diese wird meist lediglich für Alerting eingesetzt.

In diesem Vortrag führe ich Sie in die Grundlagen von Watcher ein und präsentiere Ihnen praxisnah einen eher ungewöhnlichen Anwendungsfall für Watcher, den wir in einem unserer Projekte erfolgreich umsetzen konnten. Bei diesem werden Statuswerte verschiedener Systeme mittels Watcher nicht nur überwacht, sondern so zu neuen Datentöpfen zusammengeführt, dass wir den Gesamtstatus des Systems performant und mit wenig zeitlichen Versatz übersichtlich darstellen können. Dafür nutzen wir innerhalb von Watcher Suchlogik und Re-Indexierung.

Ich möchte durch unsere Erfahrungen mit Watcher (zukünftigen) Elasticsearch-Nutzern eine neue Perspektive auf das Feature geben und Sie ermutigen, Watcher auch für Ihre Probleme im Bereich Datenverarbeitung zu nutzen.

Vorkenntnisse

Grundlegende Kenntnisse von Elasticsearch und Kibana sind von Vorteil.

Lernziele

Ziel ist es, den Zuhörern einen guten Eindruck zu vermitteln, was Elasticsearchs Feature "Watcher" leistet. Dabei möchte ich einerseits auf die klassischen Use Cases wie Monitoring und Alerting eingehen, aber auch vor allem die Flexibilität von Watcher und die daraus resultierenden breiten Einsatzmöglichkeiten vermitteln.