Was ist eigentlich Data Mesh und wofür wird es verwendet? In diesem Artikel erläutern wir Ihnen die Grundprinzipien von Data Mesh und wie diese in der Praxis umgesetzt werden. Anhand eines Fallbeispiels zeigen wir das Potenzial und mögliche Herausforderungen bei der Implementierung einer Data Mesh Architektur auf.
- Einführung in das Konzept von Data Mesh
- Die Grundprinzipien von Data Mesh verstehen
- Vorteile der Implementierung von Data Mesh
- Herausforderungen bei der Einführung von Data Mesh
- Best Practices für die Umsetzung von Data Mesh aus der Praxis
- Welcher Technologien eigenen sich für Data Mesh?
- Praxisbeispiel: Data Mesh bei Adidas
- Zukünftige Entwicklungen und Trends im Bereich Data Mesh
- Fazit
- FAQ
Einführung in das Konzept von Data Mesh
Data Mesh ist eine relative neue Form der Datenarchitektur, die 2019 von Zhamak Dehghani entwickelt wurde. Im Gegensatz zu traditionellen Datenarchitekturen (z.B. zentraler Data Lake oder Lakehouse) nutzt Data Mesh domänenorientierte Designprinzipien. Bei diesem Ansatz wird die Datenarchitektur an den Geschäftsbereichen ausgerichtet und ein dezentrales, selbstverwaltetes Datenmanagement etabliert, das die Autonomie der einzelnen Fachbereiche stärkt. Das bedeutet, dass es kein großes zentrales Datenteam gibt, was weit weg ist von den fachlichen Anforderungen, sondern viele kleinere eigenständige Datenteams, die in cross-funktionalen Teams aufgestellt wird.
Im Gegensatz zu zentralisierten, monolithischen Datensystemen fördert Datamesh ein dezentrales Modell, bei dem Daten als ein Produkt behandelt werden, das vom jeweiligen Fachbereich verantwortet wird. Diese Verschiebung unterstützt bereichsspezifische ETL-Prozesse und fördert Data Ownership der jeweiligen Datenteams. Data Mesh sollte nicht mit dem Data-Fabric Konzept verwechselt werden, das sich auf die Integration verschiedener Datenverwaltungslösungen konzentriert. Dieser Architektur-Ansatz erfordert, dass die Datenteams je Unternehmensbereich ihre Daten und Plattformen selbst verwalten. Er stellt traditionelle zentralisierte Modelle in Frage und setzt sich für Interoperabilität und gemeinsame Datenstandards ein.
Die Grundprinzipien von Data Mesh verstehen
Die Data Mesh-Architektur basiert auf vier Grundprinzipien, die eine Alternative zu typischen Herausforderungen monolithischer & zentraler Datenarchitekturen (z.B. zentraler Data Lake) darstellt.
- Fachspezifische Dateneigentümer und Pipeline
- Daten als Produkt
- Self-Service-Datenplattform
- Federated Governance
Dieses Bild stellt die 4 zentralen Bausteine dar:
Sehen wir uns die vier Grundprinzipien genauer an.
1. Fachspezifische Dateneigentümer und Pipeline
Datamesh verteilt Data Ownership auf die Dateneigentümer der Fachbereiche, die für die Bereitstellung ihrer Daten als Produkte verantwortlich sind, und erleichtern gleichzeitig die Kommunikation zwischen den an verschiedenen Orten vorliegenden Daten.
Während die Dateninfrastruktur für die Bereitstellung der Lösungen zur Verarbeitung der Daten für die einzelnen Fachbereiche zuständig ist, haben die Fachbereiche die Aufgabe,
- die Aufnahme,
- Bereinigung
- und Aggregation der Daten zu verwalten,
um Assets zu generieren, die von BI- oder ML-Anwendungen genutzt werden können.
Jeder Fachbereich ist für ihre eigenen ETL-Pipelines verantwortlich, aber es gibt eine Reihe von Funktionen, die für alle Domänen gelten und die Rohdaten
- speichern,
- katalogisieren
- und Zugriffskontrollen für sie einrichten.
Sobald die Daten einer bestimmten Fachabteilung zur Verfügung gestellt und von ihr umgewandelt wurden, können die Eigentümer der Fachabteilung die Daten für ihre Analysen oder betrieblichen Anforderungen nutzen.
2. Daten als Produkt
Ein gutes Datenprodukt ist laut Zhamak Dehghan (Erfinderin des Konzepts):
| Auffindbar | Datenprodukte müssen über ein zentrales Registry oder einen Katalog, der alle verfügbaren Datenprodukte mit Meta-Informationen wie Eigentümer, Herkunftsquelle, Abstammung und Beispieldatensätze enthält, leicht zu finden sein. Dadurch wird sichergestellt, dass Datenkonsumenten, Ingenieure und Wissenschaftler die gewünschten Datensätze leicht finden können. |
| Adressierbar | Einmal erfasste Datenprodukte sollten eine eindeutige Adresse haben, die einer allgemeinen Konvention für den programmatischen Zugriff auf die Daten entspricht. Diese Standardisierung erleichtert die Nutzung verschiedener Speicherformate und Datentypen in einer dezentralen Systemarchitektur. |
| Glaubwürdig | Datenprodukte müssen zuverlässig sein und die tatsächlichen Geschäftsvorfälle, die sie darstellen, genau widerspiegeln. Die Eigentümer von Datenprodukten sind dafür verantwortlich, die Datenqualität vom Zeitpunkt der Erstellung an zu gewährleisten, einschließlich der Bereitstellung der Datenprovenienz und der Abstammung, um das Vertrauen der Verbraucher zu stärken. |
| Einfach | Datenprodukte sollten so konzipiert sein, dass der Benutzer möglichst wenig manuelle Prozesse durchführen muss, d. h. sie sollten selbständig entdeckt, verstanden und genutzt werden können. Dazu gehören eine gut beschriebene Semantik, Syntax und Beispieldatensätze, die das Verständnis und die Nutzung erleichtern. |
| Verständlich | Eine wirksame Verknüpfung von Daten über verschiedene Bereiche hinweg erfordert die Einhaltung von Standards und Harmonisierungsregeln unter übergreifenden Regelwerken. Dazu gehören Standards bei der Formatierung von Feldtypen, Adresskonventionen für Datensätze und gemeinsame Metadatenfelder, um sicherzustellen, dass Daten aus verschiedenen Bereichen integriert und gemeinsam genutzt werden können. |
| Sicher | Der sichere Zugriff auf Datenprodukte ist wichtig, wobei die Zugriffskontrollrichtlinien für jedes Datenprodukt eines Fachbereichs fein granular anzuwenden sind. Dies kann durch unternehmensweite Identitätsmanagementsysteme (z.B. AWS IAM oder Databricks Unity Catalog) und rollenbasierte Zugriffskontrolle erleichtert werden. |
Beispiele für ein Datenprodukt können folgendes sein:
- Ein Parqet-Datensatz mit mehreren Bezugstabellen
- XML-Dateien in einem AWS S3-Bucket
- Delta-Dateien in Databricks
- Nachrichten in einem Kafka-Thema
3. Self-Service-Dateninfrastruktur:
Data Meshes nutzen die Prinzipien des bereichsbezogenen Designs, um eine Datenplattform zur Eigenverwaltung zu entwickeln, die es den Nutzern ermöglicht, von der technischen Komplexität zu abstrahieren und sich auf ihre individuellen Datenanwendungsfälle zu konzentrieren.
Wie von Zhamak dargelegt, besteht eines der Hauptprobleme des bereichsorientierten Designs in der Duplizierung der Bemühungen und Fähigkeiten, die für die Pflege der Datenpipelines und der Infrastruktur in jedem Geschäftsbereich erforderlich sind.
Um dies zu beheben, vereint und extrahiert das Datamesh bereichsübergreifende Infrastrukturfunktionen in einer zentralen Plattform, die die Datenpipeline-Engines, den Speicher und die Streaming-Infrastruktur verwaltet. In der Zwischenzeit ist jeder Bereich für die Nutzung dieser Komponenten verantwortlich, um benutzerdefinierte ETL-Pipelines auszuführen. So erhalten sie die erforderliche Hilfestellung, um ihre Daten problemlos bereitstellen zu können, und die Eigenständigkeit, die erforderlich ist, um den Prozess wirklich selbst zu steuern.
4. Federated Governance
Das Konzept der föderierten Governance erreicht die Kompatibilität aller Datenprodukte durch Standardisierung, die von der Governance-Gruppe im gesamten Datamesh unterstützt und begleitet wird. Das Kernziel der föderierten Governance ist es ein Datenökosystems unter Einhaltung der organisatorischen Regeln und Branchenvorschriften zu schaffen.
In der folgenden Abbildung sehen Sie die Architektur des Data Mesh.
Sehen wir uns nun die Vorteile der Implementierung des Datamesh an.
Vorteile der Implementierung von Data Mesh
Die Implementierung von Datamesh innerhalb einer Organisation bietet mehrere Vorteile, die direkt die Probleme von zentralisierten Datenökosystemen adressieren:
1. Demokratisierung von Daten
Daten stecken oft in Silos fest und erschweren somit bereichsübergreifende Analysen. Wenn auf Daten schneller und einfacher zugegriffen werden kann, können daraus Insights für die tägliche Arbeit abgeleitet werden und somit bessere datengestützte Entscheidungen getroffen werden.
Fragen können zum Beispiel sein: Ist es eine gute Idee, während der Black Friday einen Discount anzubieten? Akzeptieren die Kunden längere, aber zuverlässigere Lieferzeiten? Wie wirkt sich eine Änderung der Produktseite auf die Kaufabwicklung und die Rücksendequote aus?
2. Höhere Datenqualität
Da Datenteams Daten als Produkt sehen und daran gemessen werden, fühlen sie sich automatisch auch für deren Qualität verantwortlich. Dies führt zu besserer Dokumentation, höheren Qualitätsstandards sowie einer „Customer Centricity“. Diese unterschiedliche Sichtweise reduziert nicht nur die Datenfehler und Inkonsistenzen, die in monolithischen Modellen vorherrschen, sondern erhöht auch das Vertrauen in Daten als werthaltiges Asset.
3. Gesteigerte Effizienz
Durch die Verwendung der zwei bereits aufgeführten Prinzipien: 1.) Self-Service-Dateninfrastruktur und 2.) zentralisierter Governance wird durch Data Mesh die Abhängigkeit von zentralen IT-Ressourcen verringert. Diese Agilität führt zu schnellerem Go-To-Market für neue Features und somit zu schnelleren Innnovationszyklen neuer ML- oder BI-Anwendungen.
Herausforderungen bei der Einführung von Data Mesh
In unseren Kundenprojekten für führende Unternehmen vom Dax Konzern bis zum marktführenden Mittelständler haben sich drei Herausforderungen bei der Implementierung von Data Mesh Architekturen herauskristallisiert:
1. Change-Management
Das größte Hindernis, was wir in der Praxis sehen, ist der kulturelle Wandel, der mit der Umstellung von einem zentralen zu einem dezentralen Datenmanagement Ansatz einhergeht. Oft reagieren betroffene Teams im ersten Moment mit Widerstand, da sich etablierte und routinierte Arbeitsabläufe und Denkweisen ändern, sowie Zuständigkeiten verschieben. In diesen Fällen hilft es oft die Vorteile der Data Mesh Architektur zu betonen: höhere Qualität der Daten, gesteigerte Agilität und einfachen Zugang zu Daten sind einige der wichtigsten Faktoren.
2. Fehlende technische Expertise
Unserer Erfahrung nach fehlt es oft an technischer Expertise in den Unternehmen, denn die Umstellung auf eine Data Mesh Architektur bedarf einer hohen technischen Expertise im Bereich Data Engineering, DevOps, Security, Data Governance und vielen mehr. Wenn diese Fähigkeiten fehlen, hilft es oft, sich von einem spezialisierten Beratungsunternehmen Hilfe zu suchen.
3. Komplizierte Toolauswahl
Im wachsenden Dickicht von Tools und neuen Technologien, die zur Umsetzung von Datamesh Prinzipien genutzt werden können, fällt es oft schwer den Überblick zu behalten. Oft macht es Sinn sich auf bewährte Tools zu verlassen und das Rad nicht neu zu erfinden. Die gängigen Cloud-Anbieter und bewährte Technologien behandeln wir am Ende des Artikels.
Best Practices für die Umsetzung von Data Mesh aus der Praxis
Wir haben unsere Köpfe zusammengesteckt und einige Experten für die Architektur von Datamesh befragt. Drei Tipps und Best Practices haben sich dabei herauskristallisiert:
1. Klein starten
Starten Sie im Kleinen am besten mit nur zwei Teams, die einen qualitativen Anwendungsfall haben, bei dem ein Team Daten vom anderen Team benötigt. Lassen Sie ein Team ein Datenprodukt erstellen und ein anderes Team dieses Datenprodukt nutzen. Im nächsten Schritt haben Sie die Möglichkeit wertvolle Lehren für die Implementierung von Data Mesh zu ziehen, um dann im nächsten Schritt die neue Architektur im gesamten Unternehmen einzuführen. Am besten konzentrieren Sie sich beim Pilotprojekt auf ein Datenprodukt, welches einen messbaren Mehrwert für ihr Unternehmen hat, dabei aber auch umsetzbar bleibt. Wir würden davon abraten, mit dem Pilotprojekt zu ehrgeizig zu sein, sondern ein Projekt zu wählen, welches keine kritischen Berichte oder ML-Projekte umfasst.
2. Eine eigene Definition für Self-Service finden
Überlegen Sie, was Self-Service für Ihre Organisation bedeuten soll. Ihre eigene Definition sollte maßgeblich von ihren eigenen Geschäftsanforderungen abhängen. Zum Beispiel gibt es Unternehmen die den Fachbereichen die Kontrolle darüber geben, wer auf die Daten zugreifen kann oder Standards für die Datenvisualisierung als oberste Priorität sehen.
3. Iterative Schritte zur perfekten Plattform
Sie sollten nicht auf die perfekte Datenplattform warten. Stellen Sie sich die Umsetzung eines Datamesh so vor, als würden Sie ein agiles Projekt starten Anstatt ein riesiges Projekt abschließen zu wollen und von Grund auf neu zu beginnen, sollten Sie iterativ vorgehen und ihre Datenarchitektur Schritt für Schritt aktualisieren.
Welcher Technologien eigenen sich für Data Mesh?
Ein Datamesh kann nicht von einem Anbieter gekauft werden kann, sondern ist in erster Linie ein organisatorischer Ansatz, der je nach Geschäftsbedürfnissen angepasst wird. Die richtige Auswahl an Tools und Technologien bleibt allerdings weiterhin sehr wichtig, da sie wichtige Funktionen eines Data Meshes ermöglicht. Weiterhin hat sich gezeigt, dass nur einfache und nützliche Technologien auch Akzeptanz durch den Fachbereich als Endnutzer bekommen.
Die verfügbaren Services der bekannten Cloud-Anbieter (AWS, Azure und GCP) bieten eine ausreichende Auswahl an guten Diensten, mit denen sich eine Datenplattform nach der Datamesh Architektur umsetzen lässt.
Es gibt viele verschiedene Varianten, eine Data-Mesh-Architektur umzusetzen. Hier ist eine kleine Auswahl typischer Tech-Stacks, die wir in unserer Arbeit sehen:
- GCP BigQuery
- AWS S3 und Athena
- Azure Synapse Analytics /Fabrics
- dbt und Snowflake
- Databricks
- MinIO und Trino
- SAP
- Kafka Streams, Connect und RisingWave
- Datenkataloge: Amundsen, Datahub, Marquez, Unity Catalog
Sehen wir uns nun ein Beispiel aus der Praxis an.
Praxisbeispiel: So verwendet Adidas Data Mesh
Adidas möchte schnell auf Geschäftsanforderungen reagieren und befindet sich deswegen auf dem Weg der Digitalisierung. Die klassische Datenarchitektur von Adidas besteht aus einem Data Warehouse und einem auf S3 basierenden Data Lake. Die zentrale Datenverwaltung führte zu
- Skalierbarkeitsengpässen,
- Datenqualitätsproblemen
- und mangelnder Daten-Governance.
Adidas verwendet Data Mesh, um die Herausforderungen der Skalierbarkeit und der effizienten Datenverwaltung innerhalb ihrer digitalen Transformation zu bewältigen.
Hier sind die Hauptaspekte der Anwendung von Data Mesh bei Adidas:
| Demokratisierung des Datenzugangs | Durch die Einführung von Data Mesh strebt Adidas an, den Zugang zu Daten zu demokratisieren. Dies bedeutet, dass Datenprodukte mit klaren Grenzen geschaffen werden, die eine Autonomie der verschiedenen Geschäftseinheiten ermöglichen und die Abhängigkeit von zentralen Datenteams verringern. |
| Adoption von Microservices-Prinzipien für Daten | Adidas sieht die Prinzipien der Microservices-Architektur als Inspiration für Data Mesh. Indem Datenprodukte ähnlich wie Microservices behandelt werden, sollen Abhängigkeiten minimiert und die Entwicklung autonomer Datenprodukte gefördert werden. |
| Verbesserung der Datenqualität | Ein zentrales Ziel von Adidas bei der Einführung von Data Mesh ist die Verbesserung der Datenqualität. Dies soll durch eine bessere Governance und die direkte Verantwortung der Teams für ihre Daten erreicht werden. Qualität und Konsistenz der Daten werden als entscheidend für den Erfolg von Data Mesh angesehen. |
| Förderung einer datengetriebenen Kultur | Adidas erkennt die Notwendigkeit an, eine datengetriebene Kultur zu fördern, in der Teams die Verantwortung für ihre Daten übernehmen und diese aktiv für Analysen und Einsichten nutzen. |
| Nutzung von Streaming-Technologien | Die Implementierung von Data Mesh bei Adidas umfasst auch den Einsatz von Streaming-Technologien wie Kafka. Diese Technologien sollen die Brücke zwischen operativen und analytischen Daten schlagen und so eine effizientere Verarbeitung und Nutzung von Echtzeitdaten ermöglichen. |
| Pragmatischer Ansatz und schrittweise Einführung | Adidas betrachtet die Einführung von Data Mesh als einen langfristigen Prozess. Ein pragmatischer Ansatz, beginnend mit einem Fokus auf den Data Lake und die schrittweise Erweiterung des Konzepts auf Echtzeit-Datenprodukte, soll dabei helfen, die Prinzipien von Data Mesh effektiv umzusetzen. |
| Fokussierung auf das Analytische | Während Adidas das Potenzial von Data Mesh für die Integration von operativen und analytischen Datenwelten erkennt, liegt der anfängliche Schwerpunkt auf der Anwendung von Data Mesh-Prinzipien im analytischen Bereich, mit dem Ziel, diese später auf Echtzeit-Datenprodukte auszuweiten. |
Durch diese Ansätze strebt Adidas an, die Flexibilität und Effizienz seiner Dateninfrastruktur zu steigern und eine solide Grundlage für datengetriebene Entscheidungen und Innovationen zu schaffen. Sehen wir uns nun zukünftige Entwicklungen im Bereich Data Mesh an.
Wer Interesse hat mehr über Anwendungsfälle von Unternehmen wie Disney, HelloFresh und Zalando zu lesen, der ist hier genau richtig.
Zukünftige Entwicklungen und Trends im Bereich Data Mesh
Das Konzept Data Mesh wird sich im Jahr 2024 erheblich weiterentwickeln, da sich der Schwerpunkt der Organisation auf die Erstellung von Datenprodukten verlagert, die direkt zu Unternehmenszielen einzahlen.
Wir gehen davon aus, dass der Business Value und die Anwendungsfälle den Ausgangspunkt für die Datenstrategie bilden. Da die Investitionen in digitale Technologien und KI aktuell zunehmen, erwarten wir, dass sich Unternehmen verstärkt auf die Entwicklung von Datenprodukten konzentrieren, die auf die Geschäftsziele abgestimmt sind. Diese Verlagerung wird durch die Grundsätze des Domäneneigentums, Selbstbedienungsfunktionen und eine Ausweitung der dezentralen Governance als Reaktion auf neue Daten- und KI-Gesetze (siehe Data & AI Act in Europa) unterstützt.
Es sind jedoch auch Schwierigkeiten zu erwarten, insbesondere bei der föderalen Verwaltung von Compute Ressourcen. Die dem Data Mesh inhärente Dezentralisierung führt zu einem Grad an Autonomie bei der Erstellung von Datenprodukten, der zwar äußerst innovativ ist, aber auch Bedenken hinsichtlich Risikobewertung und -management mit sich bringt. Eine wirksame Data Governance innerhalb dezentralisierter Teams, die als „Pods“ bezeichnet werden, ist von entscheidender Bedeutung. Diese Pods müssen mit umfassenderen Unternehmensrichtlinien und -kontrollen übereinstimmen, was einen koordinierten Ansatz für Data Governance erfordert, der durch Peer-Review-Prozesse unterstützt wird.
Es ist zu erwarten, dass sich die Eigentumsverhältnisse innerhalb der Data Mesh-Architektur ändern werden. Anfänglich können Unternehmen angesichts des komplexen Zusammenspiels zwischen Geschäfts- und Technologierollen Schwierigkeiten mit dem dezentralen Modell haben. Es wird prognostiziert, dass die Verantwortung für die Datenprodukte auf mehrere Beteiligte verteilt wird. Dieses verteilte Modell umfasst verschiedene Aspekte, darunter Umfang, Datenmodell, Governance-Standards und Nutzung, und verdeutlicht den gemeinsamen Charakter des Eigentums unter den Erstellern und Beteiligten.
Aktuell sehen wir bei unseren Kunden eine Verlagerung hin zu Echtzeit-Anwendungsfällen. Traditionelle Ausgangspunkte für Data Mesh, wie BI und Analytik, entwickeln sich weiter. Die Integration von Erkenntnissen in digitale Erlebnisse und die Prozessautomatisierung treiben die Datenvernetzung in operative, Echtzeit- und Edge-Anwendungsfälle. Diese Entwicklung deutet auf eine steigende Nachfrage nach zeitnahen Entscheidungsmöglichkeiten in Unternehmen hin.
Fazit
Zusammenfassend lässt sich sagen, dass Data Mesh ein Architektur-Konzept darstellt, das Prinzipien und Praktiken in einem End-to-End Betriebsmodell konsolidiert und die Dezentralisierung vereinfacht. Indem sie sich auf die Gestaltung von Daten im Hinblick auf Kundenerfahrung, Business Value und Ergebnisse konzentrieren, können Unternehmen die Herausforderungen der Data-Mesh-Implementierung überwinden und ihr Potenzial ausschöpfen.
Sie haben Interesse am Data Mesh? Dann kontaktieren Sie uns!
FAQ – Ihre Fragen schnell beantwortet
Data Mesh ist ein architektonischer und organisatorischer Ansatz, der darauf abzielt, die Art und Weise, wie Unternehmen ihre Daten verwalten und nutzen, grundlegend zu verändern. Es handelt sich um ein dezentralisiertes Konzept, das die Verantwortung für Daten als Produkte betrachtet, die von den Teams, die sie erzeugen und nutzen, verwaltet werden. Ziel ist es, Datenmanagement skalierbar, flexibel und anpassungsfähig an die Bedürfnisse eines wachsenden Unternehmens zu machen.
Data Mesh entstand als Antwort auf die Grenzen traditioneller, zentralisierter Datenmanagementsysteme, die oft zu Engpässen, ineffizienten Prozessen und einer Kluft zwischen Datenproduzenten und -konsumenten führen. Diese traditionellen Systeme skalierten nicht gut mit der zunehmenden Komplexität und dem Wachstum der Datenanforderungen moderner Unternehmen.
Die Vorteile von Data Mesh umfassen verbesserte Skalierbarkeit, Agilität und Flexibilität im Umgang mit Daten. Es fördert eine Kultur der Eigenverantwortung und des Engagements für Datenqualität, erleichtert die Datenzugänglichkeit und -nutzung und unterstützt eine schnelle, datengesteuerte Entscheidungsfindung. Data Mesh kann auch zu effizienteren und effektiveren Datenflüssen und -integrationen führen.
Data Mesh eignet sich besonders gut für große, komplexe Organisationen, die mit den Grenzen traditioneller Datenmanagementansätze zu kämpfen haben. Es ist auch für Unternehmen von Vorteil, die eine agile, innovative und datengesteuerte Kultur fördern möchten. Kleinere Unternehmen oder Start-ups können die Prinzipien von Data Mesh adaptieren, müssen jedoch den Umfang und die Komplexität ihrer Implementierung sorgfältig abwägen.
