Zurück

Hands On: Live-Data-Product-Entwicklung mit Apache Kafka und Open-Source-Software

Workshop am 19. September 2022, 9:00-16:30 Uhr

Daten werden heute als Produkte bereitgestellt – korrekt, integriert und hoch verfügbar. Solche Data-Products müssen immer aktuelle Daten liefern, um erfolgreich zu sein. Die Entwicklung dieser Live-Data-Products ist komplex: Datenströme aus unterschiedlichen Quellen müssen in Echtzeit integriert, konsolidiert, kombiniert, angereichert und anfragbar gemacht werden. Zusätzlich muss die Operationalisierung der Daten-Pipelines gemeistert werden.

In diesem Workshop lernen Sie einen erprobten OSS Stack für die Entwicklung von Live-Data-Products kennen. Im Zentrum stehen Apache Kafka als Streaming-Data-Platform sowie weitere Open-Source-Projekte und wir entwickeln gemeinsam ein Live-Data-Product.

Vorkenntnisse

Programmierkenntnisse in Python oder Java
Wir bereiten ein Beispielszenario vor, bestärken aber alle Teilnehmenden ein eigenes Live-Data-Product-Szenario vorzubereiten

Lernziele

Integration von Datenströmen mit Apache Kafka
Schemas und De-/Serialisierung mit protobuf
Kombination von Datenströmen mit Kafka Streams
Live-Datenzugriff über API und GraphQL
Anbinden von Drittsystemen über Kafka Connect, z.B. Suche mit Elasticsearch
Kennenlernen von Tools wie Kowl, StreamsExplorer, etc.
Behandlung von fehlerhaften Daten und Reprozessierung in Echtzeit
Verarbeiten großer Datensätze
Anwenden von ML-Modellen auf Datenströmen

Agenda

9:00 - 10:30 Uhr Apache Kafka Basics

Einführung
Kafka Installation: Lokale Entwicklungsumgebung mit Docker
Kafka-Cluster mit Kubernetes
Topics, Partitionen, Segmente
Kafka Client Bibliotheken: Producer, Consumer
Kafka Schema Management
Daten-Serialisierung
1. Avro und Protobuf
2. Ausblick für Schema Evolution
Schema Registry

10:30 - 11:00 Kaffeepause, Diskussion

11:00 - 12:00 Beispielszenario Live-Data-Product

Vorstellung Live-Data-Product-Szenarien der Teilnehmer und von bakdata
Auswahl und Planung Live-Data-Product mit Apache Kafka und OSS
Aufsetzen und erste Schritte (Topics, Daten-Serialisierung, Producer/Consumer, ...)
Bereitstellen des Live-Data-Products über GraphQL

12:00 - 13:00 Mittagessen

13:00 - 14:30 Data Pipelines with Kafka Connect

Einführung Kafka Connect
Running Kafka Connect - Standalone vs. Distributed Mode
Kafka Connect für RDBMS
Kafka Connect für Elasticsearch
Kafka Connect für Neo4j
Kafka Connect Transformations: Single Message Transformations (SMTs)
Fehlerbehandlung
Dead Letter Queues

14:30 - 15:00 Kaffeepause, Diskussion

15:00 - 16:30 Stream Processing with Kafka Streams

Einführung Kafka Streams Konzepte
Vorstellung Kafka Streams API
Entwicklung von Kafka Streams Applikationen
Umgang mit problematischen Events
1. Fehlerbehandlung
2. Dead Letter Queues
3. Unerwartet große Events
Betrieb von Kafka Streams Applikationen (Kubernetes, Prometheus/Grafana, Kowl, Streams Explorer, ...

Technische Anforderungen

Notebook, min. 8 GB RAM
https://docs.docker.com/get-docker/
https://docs.docker.com/compose/
https://grpc.io/docs/protoc-installation/

Speaker

Dr. Alexander Albrecht ist Mitgründer der bakdata GmbH und verfügt über mehr als 20 Jahre Erfahrung in der Entwicklung maßgeschneiderter Software-Lösungen für datenzentrierte Produkte. Er unterstützt Kunden aus verschiedenen Branchen wie Life Science, Versicherungen, Gesundheitswesen, E-Commerce und Logistik bei der erfolgreichen Entwicklung von Live-Data-Products.

Dr. Christoph Böhm ist Informatiker und Mitgründer der bakdata GmbH. Er verfügt über langjährige Erfahrung als Data Engineer und Data Architect in verschiedenen Branchen wie Life Science, Versicherungen, Gesundheitswesen, E-Commerce und Logistik. Sein Fokus liegt auf der technischen Konzeption und Entwicklung von skalierbaren Live-Data-Products.

Jetzt Tickets sichern

Gold-Sponsoren

Silber-Sponsor

JETZT SPONSOR WERDEN

data2day-Newsletter

Sie möchten über die data2day
auf dem Laufenden gehalten werden?

Anmelden