Zurück

Dagster ♥ dbt: Erfahrungen aus dem Aufbau einer Big-Data-Plattform

Bei unserem Kunden, einer Leasinggesellschaft, bauen wir eine Datenplattform basierend auf dem Modern Data Stack auf. Daten aus verschiedenen Quellen werden in einem Data Warehouse aggregiert und für Reportings bereitgestellt. Dies hilft dem Kunden, jederzeit einen Überblick über KPIs und aktuelle Entwicklungen zu behalten und schnell reagieren zu können.

Wir verwenden Dagster als Orchestrator für ELT-Datenstrecken in Verbindung mit dbt im Snowflake-DWH. In dieser Präsentation zeigen wir, wie sich so robuste und transparente Datenpipelines erstellen lassen, und wie die einzelnen Komponenten zusammenspielen.

Vorkenntnisse

Ein grundlegendes Verständnis über Komponenten, die zum Aufbau von Cloud-Datenplattformen verwendet werden: ETL/ELT, Orchestrator, Data Warehouse, Pipelines etc.

Lernziele

Teilnehmende erfahren, wie sie Dagster und dbt in Kombination einsetzen können, um Datenpipelines nach dem ELT-Modell aufzubauen.
Wir werden auf zentrale Anforderungen wie das Monitoring der Pipelines, Abhängigkeiten zwischen DAGs in Dagster sowie Möglichkeiten zur schrittweisen Datenmodellierung in dbt eingehen, um Daten für Business Analysts zur Verfügung zu stellen.

Speaker

Filip Stepniak ist seit 5 Jahren bei esentri im Bereich Industrial Analytics & IoT. Er spricht die Sprache der Data Scientists und Data Engineers. Durch Cloud Computing versucht er beiden das Leben zu erleichtern.

Dr. Nicolas Haubner ist seit 3 Jahren bei esentri im Bereich Enterprise Analytics & Sustainability. Er hat Erfahrung aus diversen Projekten in den Bereichen Data Science und Data Engineering. Nico unterstützt aktuell unsere Kund:innen mit Dagster und dbt.

Jetzt Tickets sichern

data2day-Newsletter

Du möchtest über die data2day
auf dem Laufenden gehalten werden?

Anmelden