Search at Petabyte Scale: Approximate-Nearest-Neighbor-Suche

In vielen Big-Data-Anwendungen müssen riesige Datensätze schnell durchsucht werden, um relevante Information wie Kundenprofile, Bilder oder Dokumente zu finden. Der naive Suchaufwand wächst linear mit der Zahl der gespeicherten Daten: ein tödliches Problem für skalierbare Real-Time-Big-Data-Lösungen.

Approximate-Nearest-Neighbor-Methoden (ANN) finden die gesuchten Ergebnisse mit hoher Wahrscheinlichkeit, bei zugleich exponenziell reduziertem Aufwand. Diese innovative Technologie ermöglicht erst die Skalierung datenintensiver Anwendungen in den Petabyte-Bereich.

In meinem Talk werde ich die Basics von ANN erläutern und eine Bildersuche mittels einer Python-Open-Source-Toolbox demonstrieren.

Vorkenntnisse

Ich präsentiere eine innovative Theorie, die vielfältig einsetzbar und zugleich leicht zu begreifen ist. Spezielles Vorwissen ist nicht erforderlich.

Lernziele

Der Ziel des Vortrags ist es, die theoretischen Grundlagen von Approximate Nearest Neighbors zu vermitteln und die praktische Anwendung der Methode mit Open-Source-Tools auf einen Image-Datensatz zu zeigen.