Vom DWH zur Enterprise Data Plattform in der CloudInternetplattformen wie AutoScout24 oder ImmoScout24 erzeugen heutzutage viele Daten. Die effiziente Speicherung und Bereitstellung der Daten ermöglichen die Entwicklung von Datenprodukte wie das AutoScout24-"Price Estimation Tool". Ein firmenübergreifender Data Lake und eine einheitliche Data-Plattform in der Cloud stellen Analysten, Data Scientists und Produktmanagern alle firmeninternen Daten in effizienter Weise zur Verfügung.
Der Vortrag beschreibt technische und organisatorische Herausforderungen bei der Migration vom On-Premises-DWH und On-Premises-Hadoop-Cluster zu einer skalierbaren, sicheren und flexiblen Data-Plattform in der AWS Cloud.
Vorkenntnisse
* AWS
* Hadoop und Hadoop-Ökosystem
* Big-Data-Grundlagen
Lernziele
* Konzepte für Enterprise Data Platform
* Konzepte für Enterprise Data Lake
* Best Practices für Big Data auf AWS
//
Markus Schmidberger
@cloudHPC
verantwortet als Head of Data Engineering den Aufbau und Betrieb der OneScout Data Platform bei Scout24 AG. 2009 erhielt er einen Ph.D der Universität München in "Parallel Computing for Biological Data". Sein Schwerpunkt liegt auf flexiblen, skalierbaren und Cloud-basierten Architekturen für große Datenanalysen, einschließlich der effizienten Nutzung der statistischen Sprache R.