Große NLP-Modelle: Transfer Learning vs. Few-Shot Learning

Sprachmodelle wie GPT-3 und BERT sind in aller Munde. Sie besitzen ein gewaltiges Sprachverständnis und generieren flüssigen und kohärenten Text. Viele dieser Modelle sind einfach zugänglich und über AI-Plattformen wie Hugging Face frei verfügbar.

Wir werfen deshalb einen Blick auf verschiedene Sprachmodelle, deren Technologien sowie Konzepte. Hierbei gehen wir auf sequenzielles Transferlernen sowie Few-Shot Learning ein und zeigen, wie diese Methoden verwendet und implementiert werden. Weiter stellen wir unseren Showcase vor, der Use-Cases wie Text Completion oder Bias Mitigation interaktiv nutzbar macht.

Vorkenntnisse

• Grundkenntnisse über Neuronale Netze und Deep Learning sowie in Natural Language Processing
  
• Es ist nicht zwingend nötig, aber es hilft, NLP-Sprachmodellen und Transformer-Modellen zu kennen

Lernziele

• Die Teilnehmenden erhalten einen Einblick in die Entwicklung mit Transformer-Modellen und verstehen die praktischen Herausforderungen von großen Sprachmodellen