Lambda-Architektur: (IoT)-Analytics-Anwendungsfall Connected Cars auf Hadoop und Kafka

In dem Vortrag präsentiere ich eine Implementierung für den Anwendungsfall (IoT) Connected-Cars (Car-Sharing Service) basierend auf Hadoop, Kafka, Flink (für Stream Processing), Spark (für Batchverarbeitung) mit Hive und Solr (auf HDFS). Dabei verwende ich unseren eigenen HA-Hadoop- und Kafka-Cluster basierend auf Docker, Rancher/Kubernetes als Infrastruktur.

Die bereits fertiggestellte Implementierung werde ich im Rahmen des Vortrages anhand einer Power-Point-Präsentation, eines Code (Re-)View sowie einer Live-Demonstration vorstellen. Dabei gehe ich kurz auf die zugrundeliegenden Technologien ein, bevor ich das analytische Anwendungsbeispiel der Lambda-Architektur im Detail beschreibe.

Vorkenntnisse

* Basiskenntnisse zu Hadoop, Kafka, Stream und Batchverarbeitung sind hilfreich.
* Zielgruppe sind Programmierer und Software-Architekten.

Lernziele

* Hadoop Ökosystem: Implementierung eines Lambda-Architektur Anwendungsbeispiels.
* Überblick und Implementierung von Echtzeit-Streaming mit Apache Flink.
* Echtzeit k-means- und DBSCAN-Clustering mit Apache Flink.
* Batchverarbeitung mit Spark SQL.
* Indizierung und Ad-hoc-Suche mit Solr auf HDFS.