Endlich Embeddings verstehen – und nie wieder nach dem richtigen Emoji suchen müssen!

Embeddings sind die Grundlage dafür, wie Large Language Models (LLMs) die Welt verstehen. Aber: Wer sich darüber informiert, stößt schnell auf Begriffe wie Tensoren, Matrizen oder Multi-Head Attention.

Wir erklären, wie Embeddings funktionieren und welche Rolle sie für Natural Language Processing (NLP) spielen – anhand unserer Demo-App, einer Suche, die für jede Chatnachricht den richtigen Emoji findet. Wir erklären, wie und warum Sprache in hochdimensionale Vektoren übersetzt wird, was eine semantische Suche ist und wie sie durch Finetuning und multimodale Embeddings verbessert werden kann. Wir gehen auf geeignete Trainingsdaten ein.

Dann testen wir unsere App anhand eines selbstgeschriebenen Benchmarks und legen dar, wie man – statt Emojis – auch jedes beliebige Bild embedden kann. Schließlich erklären wir, mit welchen Suchalgorithmen man selbst bei unzähligen Embeddings schnell die passenden Matches findet.

Vorkenntnisse

Vorwissen über Transformer ist nicht nötig, aber hilfreich.

Lernziele

Du erlangst grundlegendes theoretisches Verständnis darüber,
was Embeddings aussagen; den Vergleich von Base Models vs. Instruction Models, semantische Suche, CLIP, Transformer, der Einfluss der Dimensionalität bei Embeddings, Trainingsdatenpräparation, Benchmarkings / MTEB sowie Hierarchical Navigable Small World.