Data Lake – zukunftsweisendes, agiles DatenspeicherkonzeptIm Zeitalter des Internet of Things und allgegenwärtigen Themen wie künstlicher Intelligenz existiert eine nie dagewesene Ansammlung von Daten, die Unternehmen mit gezielten Analysen zu ihrem Nutzen verwerten wollen. Dabei entsteht ein beträchtlicher Aufwand im Vorfeld, um die Daten für spätere Analysezwecke in einer geeigneten Form abzulegen. Doch was, wenn der Verwendungszweck der Daten zum Speicher-Zeitpunkt noch gar nicht bekannt ist? Ist es möglich, eine rohe Fülle an Daten selektiv zu analysieren, ohne dass im Voraus eine der spezifischen Analyse entsprechende Datenstruktur erstellt wurde? Speicherkonzepte wie der ‚Data Lake‘ kombiniert mit innovativen Analyse-Tools machen dies möglich. Data Lake vs. Data Warehouse – Wo liegt der Unterschied?Ein Data Warehouse ist eine themenbezogene, konsolidierte und dauerhaft gespeicherte Ansammlung von Daten. Bei der Erstellung eines Data Warehouse steht der Verwendungszweck der Daten bereits von Beginn an fest und bei der Datenspeicherung existiert eine zweckorientierte Struktur. Die Modellierung dieser Struktur ist erforderlich um einen ETL-Prozess, der die Daten in das DWH überführt, überhaupt konzipieren zu können. Der Data Lake hingegen speichert Rohdaten primär in der Form, in der sie von der Datenquelle bereitgestellt werden. Dabei muss vorher nicht entschieden werden, für welche Analysen die Daten zukünftig in welcher Form genutzt werden und wie die Daten hierfür selektiert, verdichtet und strukturiert werden müssen. Wie funktioniert die Analyse von Daten aus einem Data Lake?Der Zugriff auf sämtliche im Data Lake gespeicherte Daten erfolgt mittels speziell für diesen Zweck konzipierter Tools. Diese Tools erstellen einen sogenannten Serving Layer, der die im Data Lake vorhandenen Informationen aufbereitet und bereitstellt. Für Echtzeitanforderungen werden Daten in den sogenannten Speed-Layer transformiert, wohingegen die vollständige, historische Datenspeicherung als Batch-Layer bezeichnet wird. Die Zusammenführung der Daten aus Speed-Layer und Batch-Layer im Serving-Layer ermöglicht es, Einsicht in aktuelle und historische Analyse-Ergebnisse zu nehmen. Welche Vorteile bietet das Konzept des Data Lake gegenüber herkömmlichen Verfahrensweisen?Wie die Kategorisierung des Data Lake als agile Datenstrategie bereits andeutet, ist man mit dieser Datenspeichermethode und qualifizierten Analyse-Tools in der Lage, sich beliebigen Verwendungszwecken jederzeit flexibel anzupassen. Darüber hinaus gestaltet sich das Speichern der Daten relativ zügig, unkompliziert und folglich kostengünstig. Diese Vorteile machen den Data Lake zu einem wichtigen Produktionsfaktor für innovative Unternehmen, die sich auf datengetriebene Entscheidungen stützen wollen. Welche Anwendung finden agile Datenstrategien in der Praxis?Konzepte wie der Data Lake können in den unterschiedlichsten Bereichen eingesetzt werden. Ein konkretes Beispiel ist hier die Anforderung eines namhaften, österreichischen Energieversorgers, die durch die Data Technology, einem Mitglied der SanData IT-Gruppe, erfolgreich umgesetzt wurde. Ziel war es, den ausgehenden Datenstrom von Smart Metern in Form von Rohdaten in einem skalierbaren Data Lake für Analysezwecke vollständig zu speichern. Einer der Verwendungszwecke der Daten war dabei die Implementierung einer Endkunden-App zur Anzeige von historischen und aktuellen Stromverbrauchswerten. Hierfür war ein schneller Zugriff im Sinne geringer Latenz auf bestimmte Ausschnitte der Datenbasis erforderlich. Das Resultat: die Analyse der im Data Lake vorhandenen Daten aus einer Vielzahl von Datenquellen ermöglicht dem Energieversorger die automatische, gezielte Umverteilung von Energie-Überschüssen und eine Individualisierung von Energielieferverträgen. Wie könnte mein Unternehmen von agilen Datenstrategien profitieren?Dies gilt es, gemeinsam heraus zu finden. Wenn Sie bereits einen Ideenansatz haben, wie ein Data Lake Konzept in Ihrem Unternehmen zum Einsatz kommen könnte, oder zu diesem Thema grundsätzlich beraten werden möchten, stehen Ihnen die Experten von Data Technology jederzeit zur Verfügung. Data Technology versteht sich als innovativer Lösungspartner, der Sie bei allen Themen im Kontext analytischer Beratung und deren softwaretechnischer Umsetzung optimal unterstützt und auf Basis seiner Erfahrung und Kompetenz in der Lage ist, eine maßgeschneiderte Lösung für Sie und den Erfolg Ihres Unternehmens zu erarbeiten. Für eine individuelle Beratung zu diesem oder anderen Themen können Sie die Experten von Data Technology jederzeit unter Tel. +49 (89) 90 50 66 517 oder per E-Mail an kontaktieren. Mehr Infos unter www.datatechnology.at |