Monitoring von Drift mit Prometheus, Grafana und Evidently

Machine-Learning-Modelle erfordern besondere Maßnahmen beim Monitoring. Die Vorhersagekraft des Modells ist dabei besonders wichtig, aber oft nicht direkt beobachtbar.

In diesem Live-Demo ohne Folien sehen wir uns eine Machine Learning Anwendung an, die mit einem bestimmten Modell in Produktion gegangen ist. Das Model basiert auf TensorFlow und wir mit einem Flask über Docker serviert. In simulierten Anfragen detektieren wir einen Drift, der einen Alarm in Grafana auslöst. Diesen interpretieren wir und entscheiden, ob er kritisch und was die passende Maßnahme ist.

Vorkenntnisse

• Grundkenntnisse von Machine Learning und den zugehörigen Metriken

Lernziele

• Die Teilnehmenden bekommen einen Eindruck von einem realistischen Setup für das Monitoring von Drift. Es wird erklärt, warum das so wichtig ist und wie man eine passende Maßnahme ableitet