Dataservices: {Big,Fast,Smart} Data Processing mit Microservices

Data Processing und Microservices sind ein perfektes Gespann. In dieser Kombination können Microservices dazu verwendet werden, ein flexibles, Event-getriebenes und skalierbares System von lose gekoppelten Datenverarbeitungsaufgaben aufzubauen. Diesen Ansatz nennen wir Dataservices.

In diesem Vortrag stellen wir zunächst die wesentlichen Konzepte und einige Schlüsseltechnologien vor, um Dataservice-Architekturen zu realisieren. Anschließend werden wir die einzelnen Bestandteile einer exemplarischen Datenverarbeitungs-Pipeline schrittweise komponieren und die Showcase-Pipeline in der Cloud zur Ausführung bringen und skalieren.

Vorkenntnisse

Grundlegende Kenntnisse in einer gängigen Programmiersprache sind von Vorteil. Erfahrungen im Umgang mit Message-oriented Middleware-Systemen (MoM) und Cloud-nativen Technologien sind ebenfalls nützlich.

Lernziele

* Konzeptioneller Aufbau einer Dataservice-Architektur
* Wesentliche Technologien und technische Bausteine für den Aufbau von Dataservice Pipelines
* Deployment und Skalierung der Pipeline in Kubernetes