Zurück

data build tool (dbt) für Anfänger und Fortgeschrittene

Das Data build tool (dbt) ist das nicht mehr ganz so neue Tool für SQL-basiertes Data-Engineering und Data-Analytics. Das dbt-core-Repo zeigt den ersten Release in 2016, und v1.0 folgte in 12/2021. Stand 05/2023 wird es aktiv entwickelt und hat 6.900 Sterne auf Github. Gleichzeitig sehe ich jedoch noch eine zögerliche Adaption dieses wichtigen, wenn nicht sogar des wichtigsten Vertreters des Paradigmenwechsels von ETL zu ELT.

Ich gebe zu: dbt hat eine steile Lernkurve.

Aber wer viel SQL spricht, kann mit dbt die Produktivität um das Zehnfache steigern.Versprochen!

Ziel dieses Workshops ist es, diese steile Lernkurve deutlich abzuflachen und somit die Adaption von dbt zu beschleunigen.

Vorkenntnisse

Vorkenntnisse in SQL und Git sind notwendig
Vorkenntnisse in Python und erste Kontakte mit dbt sind von Vorteil

Lernziele

Für Anfänger:

dbt für parametrisierte SQL-Ausführung
Nutzung der out-of-the-box Data Lineage
Verstehen von dbt models (und sources)
Tipps und Tricks für Datentests
Staging- und Prod-Umgebungen mit dbt

Für Fortgeschrittene (evtl. nur als Ausblick):

dbt incremental models
dbt-Makros für Dataset-Naming
dbt-Automatisierung mit Workflows
Tooling für Quality Assurance (SQLFluff, pre-commit)
Erfahrungen aus einem Migrationsprojekt

Technische Anforderungen

Laptop + aktuelle (maximal 3 Monate alte) Docker-Version.

Speaker

Niklas Haas nutzt als Machine Learning Engineer und Google Cloud Architect Cloud-Technologien und Machine Learning, um die Verarbeitung großer Datenmengen zu automatisieren und zu skalieren, Dateneinblicke zu generieren, Anomalien zu erkennen und Vorhersagen zu treffen. Seine Arbeit ist nicht mit dem Proof of Concept abgeschlossen, stattdessen möchte er das Datenprodukt in Produktion sehen.

Matthias Niehoff ist als Data Architect sowie Head of Data & AI für codecentric unterwegs und unterstützt Kunden bei Design und Umsetzung von Datenarchitekturen. Dabei liegt sein Fokus weniger auf dem Modell, sondern viel mehr auf der notwendigen Infrastruktur und Organisation, um Daten- und KI-Projekten zum Erfolg zu verhelfen.

Jetzt Tickets sichern

data2day-Newsletter

Sie möchten über die data2day
auf dem Laufenden gehalten werden?

Anmelden