Datenkataloge – die Kontrollinstanz im offenen Data Lakehouse

Datenkataloge sind das Rückgrat moderner Data Lakehouses, sie schlagen die Brücke zwischen Rohdatenspeichern und verwalteten, vertrauenswürdigen Datenplattformen. Sie verwalten technische Metadaten, sichern Data Lineage, Datenqualität und Governance und verwandeln Rohdaten in vertrauenswürdige Plattformen. Doch kein Katalog deckt alle Anforderungen ab.

Anhand eines Praxisbeispiels zeigen wir, wie LakeKeeper (für Iceberg-Optimierung) und OpenMetadata (für Lineage & Governance) in ein Lakehouse integriert werden, um Entdeckbarkeit, Compliance und technische Effizienz zu steigern. Ideal für Architekten, die ihr Lakehouse vom „Data Swamp“ zur kontrollierten Datenplattform machen wollen.

Ich werde eine konkrete Demo zeigen, bei der ein dbt-Modell Daten transformiert und im Data Lake manifestiert, und wie die Metadaten für Lineage dieser Operationen in eine OpenMetadata-Instanz exportiert werden.

Vorkenntnisse

Ein gutes Grundverständnis von Datentransformationen, Lakehouse-Konzepten usw. ist hilfreich, tiefe technische Vorkenntnisse sind aber nicht erforderlich.

Lernziele

Du erhältst einen guten Überblick darüber, was mit einem Datenkatalog geht – aber auch was nicht geht, ohne in erheblichen Mehraufwand zu investieren.