K8s-native Daten-Pipelines mit Argo Workflows und Events

Daten sind der neue Brennstoff für moderne digital Produkte. Aber auch Daten müssen zunächst gefördert und anschließend aufwendig raffiniert und angereichert werden bevor sie wirklich nutzbringend verwendet werden können. Die hierfür verwendeten ETL- und ELT-Ansätze und Tools sind dabei häufig entweder proprietär oder extrem individuell. Die Wartbarkeit und Skalierbarkeit solcher Ansätze ist leider beschränkt.

Dieser Vortrag beschreibt die Evolution und Migration einer individuellen Datenversorgung auf Basis von Jenkins und einzelnen Maven-Projekten, hinzu flexibel orchestrierbaren Kubernetes-nativen Datenpipelines auf Basis von Argo Workflows und Events zur Orchestrierung.

Vorkenntnisse

• Erfahrungen mit proprietären ETL Tools oder selbst gebauten Datenpipelines sind von Vorteil sowie Grundkenntnisse im Umgang mit Kubernetes

Lernziele

• Vor- und Nachteile von proprietären oder hoch individuellen Ansätzen gegenüber Kubernetes-nativen Ansätzen
  
• Migrationsszenarien für traditionelle Datenpipelines hinzu Cloud-nativen Pipelines
  
• Überblick und Demonstration von Argo Workflows und Events für flexible Kubernetes-basierte Datenpipelines