Big-Data-Analysen mit einer Serverless- und Microservice-Lambda-Architektur in der Cloud

Serverless- und Microservice-Architekturen sind aktuelle Trends für die Implementierung flexibler Softwarearchitekturen. Wie kann man diese Paradigmen für Big-Data-Plattformen und Analysen verwenden? Die "Global Media Exchange – GLOMEX GmbH", eine 100-prozentige Tochter von ProsiebenSat1.Media, bietet Media-Exchange und Videoauslieferung "as a Service" für weltweite Kunden an.

In diesem Beitrag beschreibe ich, wie wir in den letzten vier Monaten eine Serverless-Data-Plattform auf Amazon Web Services mittels einer Lambda-Architektur umgesetzt haben. Alle Module und Daten-Pipelines folgen der Idee von Microservices und erlauben uns zu skalieren und flexibel auf neue Anforderungen zu reagieren. Aktuell werden 5 Milliarden Events pro Tag in Echtzeit verarbeitet, für die Batch-Verarbeitung entstehen Kosten von 1 US-$ pro Stunde, und es werden mehr als 25 GByte Click-Stream-Daten pro Tag verarbeitet.

Vorkenntnisse

Amazon Web Services, Data Processing, Batch Processing, Real Time

Lernziele

* Konzepte für Serverless-Architekturen in Big Data
* Konzepte für Microservices in Big Data
* Best Pratices für Big Data auf AWS
* Data Science mit Jupyter in einer skalierenden Datenplattform