Prompt Away Your Features: Wie man mit LLMs seine Features verbessert

Large Language Models (LLMs) eignen sich hervorragend für Textanalysen, Zusammenfassungen und Coding – aber können sie auch klassisches Machine Learning verbessern?

In diesem Vortrag zeige ich anhand konkreter Beispiele, wie LLMs den Feature-Engineering-Prozess unterstützen können. Dabei vergleichen wir Basismodelle mit LLM-gestützten Ansätzen hinsichtlich Accuracy, F1-Score und Entwicklungsaufwand.

Anhand praktischer Experimente demonstriere ich, wie LLMs semantische Informationen aus Freitexten extrahieren, Features kontextsensitiv anreichern und domänenspezifisches Wissen nutzbar machen können. Außerdem betrachten wir, bei welchen Problemklassen LLMs echte Vorteile bieten.

Außerdem werde ich zwei Foundational Models vorstellen, die auf der Transformer-Architektur aufbauen.

Vorkenntnisse

Grundkenntnisse im Bereich:

• Machine Learning (allgemein)
  
• Large Language Models
  
• [optional] Coding

Lernziele

Du

• lernst, in welchen Bereichen LLMs einen Mehrwert für Probleme im Bereich des maschinellen Lernens bieten können,
  
• wie LLMs zur Lösung dieser Probleme eingesetzt werden können und
  
• erhältst einen Einblick in den aktuellen Stand der Forschung zum Feature Engineering mit LLMs