Möchten Sie mit Ihrem Team teilnehmen? Ab drei Personen profitieren Sie von unseren Gruppenrabatten! Direkt im Shop buchen!

K8s-native Daten-Pipelines mit Argo Workflows und Events

Daten sind der neue Brennstoff für moderne digital Produkte. Aber auch Daten müssen zunächst gefördert und anschließend aufwendig raffiniert und angereichert werden bevor sie wirklich nutzbringend verwendet werden können. Die hierfür verwendeten ETL- und ELT-Ansätze und Tools sind dabei häufig entweder proprietär oder extrem individuell. Die Wartbarkeit und Skalierbarkeit solcher Ansätze ist leider beschränkt.

Dieser Vortrag beschreibt die Evolution und Migration einer individuellen Datenversorgung auf Basis von Jenkins und einzelnen Maven-Projekten, hinzu flexibel orchestrierbaren Kubernetes-nativen Datenpipelines auf Basis von Argo Workflows und Events zur Orchestrierung.

Vorkenntnisse

  • Erfahrungen mit proprietären ETL Tools oder selbst gebauten Datenpipelines sind von Vorteil sowie Grundkenntnisse im Umgang mit Kubernetes

Lernziele

  • Vor- und Nachteile von proprietären oder hoch individuellen Ansätzen gegenüber Kubernetes-nativen Ansätzen
  • Migrationsszenarien für traditionelle Datenpipelines hinzu Cloud-nativen Pipelines
  • Überblick und Demonstration von Argo Workflows und Events für flexible Kubernetes-basierte Datenpipelines

Speaker

 

Mario-Leander Reimer
Mario-Leander Reimer ist passionierter Entwickler, stolzer Vater und #CloudNativeNerd. Er arbeitet als Principal Software Architect bei der QAware GmbH und beschäftigt sich intensiv mit den Innovationen und Technologien rund um den Cloud Native Stack und deren Einsatzmöglichkeiten im Unternehmensumfeld. Außerdem unterrichtet er Software-Qualitätssicherung an der TH Rosenheim.

Gold-Sponsoren

InterSystems
INNOQ
PRODATO

Silber-Sponsoren

HMS Analytical Software
inovex

Bronze-Sponsor

andrena

data2day-Newsletter

Sie möchten über die data2day
auf dem Laufenden gehalten werden?

 

Anmelden