Conformal Prediction für zuverlässige KI in der industriellen Informationsextraktion und Kostenschätzung

Industrielle KI-Systeme automatisieren zunehmend komplexe Aufgaben wie die Verarbeitung von Dokumenten und Bildern. Obwohl die Modellgenauigkeit kontinuierlich steigt, bleibt ein zentrales Hindernis für den großflächigen Einsatz bestehen: das Fehlen zuverlässiger, kalibrierter Unsicherheitsschätzungen. Unsicherheit ist nicht nur für risikobasierte Entscheidungsprozesse essenziell, sondern auch für die Einhaltung geschäftlicher Qualitätsschwellen und die gezielte Einbindung menschlicher Prüfinstanzen.

Dieser Vortrag stellt ein praxistaugliches Framework vor, welches mithilfe von Conformal Prediction (CP) statistisch garantierte Unsicherheitsschätzungen in industrielle Arbeitsabläufe integriert. Es werden zwei besonders relevante Anwendungsfälle aus realen Produktionsumgebungen vorgestellt.

Im ersten Anwendungsfall wird die Extraktion von strukturierten Daten aus Dokumenten mittels LLMs untersucht, bei der feldspezifische Unsicherheiten aus den Log-Likelihoods auf Token-Ebene abgeleitet werden. Es wird gezeigt, wie rohe Unsicherheitssignale mithilfe von CP kalibriert werden können, um eine kontrollierte Fehlerrate je extrahiertem Feld sicherzustellen – und so eine sichere Automatisierung sowie eine gezielte Eskalation zu ermöglichen.

Im zweiten Anwendungsfall wird CP auf eine bildbasierte Reparaturkostenprognose angewendet. Hierbei kommen Quantilregressionsmodelle zum Einsatz, die unter Berücksichtigung von Heteroskedastizität initiale Prognoseintervalle erzeugen. CP dient anschließend zur Kalibrierung dieser Intervalle, sodass sie eine garantierte Abdeckungswahrscheinlichkeit erfüllen. Die resultierenden kalibrierten Kostenintervalle bilden eine verlässliche Grundlage für die Einhaltung geschäftlicher Qualitätskriterien.

Vorkenntnisse

Statistische Unsicherheiten, Large Language Models (LLMs)

Lernziele

Teilnehmende erhalten ein klares Verständnis davon, wie Conformal Prediction in industrielle KI-Pipelines integriert werden kann, um Zuverlässigkeit, Transparenz und Automatisierungsgrad zu steigern – ohne die zugrundeliegenden Modelle zu verändern.