Daten, Parameter und Pipeline Management in Machine-Learning-Infrastrukturen

Für Machine Learning ist nicht mehr nur Codeversionierung relevant, auch Daten und weitere Parameter sind Bestandteil eines Machine-Learning-Systems. Auch die Automatisierung der Systeme bringt weitere Herausforderungen mit sich.

Wenig überraschend sind deshalb in der letzten Zeit einige Projekte entstanden, die diese Herausforderungen adressieren. So gibt es Tools zu Datenverwaltung (z.B. dvc), Parametermanagement (z.B. mlflow) und Deploymentautomatisierung (z.B. kubeflow). Auffällig ist, dass alle diese Tools ihre Anwendungsgebiete stetig erweitern und so versuchen große Teile der Entwicklung abzudecken. Darüber hinaus stellt sich die Frage, wie sich diese Tools in die bestehenden Abläufe integrieren lassen.

Vorkenntnisse

* Erste Erfahrungen mit der Entwicklung von Machine-Learning-Systemen sind hilfreich, aber nicht notwendig.

Lernziele

* Überblick über die Herausforderungen bei Entwicklung von ML-Systemen
* Anforderungen für die Auswahl potenziell hilfreicher Tools
* Vorstellung von Anwendungsgebieten und Funktionsweise einiger Werkzeuge