Databricks hat mit Delta Sharing ein offenes Protokoll geschaffen, das den Austausch von Daten zwischen Unternehmen sicher und zuverlässig ermöglicht.
Bisher waren die verfügbaren Data Sharing-Methoden fragmentiert: SFTP-Transfers, CSV-Dateien, APIs oder proprietäre Methoden. Diese Vielfalt führte zu hohem Aufwand, mangelnder Governance und hohen Kosten. Delta Sharing hingegen bietet direkte, sichere und konsistente Zugänge zu Daten und ermöglicht so eine effizienten Austausch von Daten mit Geschäftspartnern oder Kunden.
„Databricks verzeichnet über 300 % Wachstum bei aktiven Shares im letzten Jahr – und mehr als 40 % der aktiven Empfänger nutzen keine Databricks-Umgebung.“
➜ Das zeigt, dass Delta Sharing nicht nur für Databricks-Kunden relevant ist.
In diesem Beitrag zeigen wir am Beispiel von Zalando, wie Unternehmen mit Databricks Delta Sharing, dem offenen Protokoll für sicheren Datenaustausch, fragmentierte Prozesse ablösen und eine skalierbare Plattform für datengetriebene Zusammenarbeit aufbauen können.
Das Wichtigste auf einem Blick:
- Klassische Datenaustausch-Methoden (APIs, SFTP, CSV, proprietäre Plattformen) sind fragmentiert, aufwendig und teuer.
- Delta Sharing bietet als offenes Protokoll direkten, sicheren Zugriff auf Daten in Echtzeit – ohne Kopien und mit zentraler Governance über Databricks Unity Catalog.
- Das Beispiel Zalando zeigt: Fragmentierte Prozesse wurden zu einer skalierbaren Plattform transformiert, mit über 200 Datensätzen und 200 TB an Daten.
- Delta Sharing ist flexibel (Excel bis Data Engineering, Batch bis Streaming), skaliert mit Partnergrößen und erfüllt Governance- sowie Compliance-Anforderungen.
- Mit neuen Funktionen (Lakehouse Federation, Iceberg, OIDC, Network Gateway) entwickelt es sich zu einem strategischen Standard für datengetriebene Ökosysteme.
Lassen Sie uns starten!
Für Sie auch interessant:
Was ist Delta Sharing?
Delta Sharing ist ein offenes Protokoll für sicheren Datenaustausch über Plattform- und Cloudgrenzen hinweg.
Die Kernprinzipien dabei sind:
- Zero-Copy-Prinzip: Empfänger greifen direkt auf Ursprungsdaten zu.
- Offene Standards: Unterstützung für Delta- und Iceberg-Formate.
- Breite Integration: Zugriff aus Python, R, BI-Tools oder direkten Datenpipelines.
- Zentrale Governance: Steuerung über Unity Catalog.
Databricks beschreibt Delta Sharing als grundlegenden Wandel für das Daten teilen zwischen Organisationen:
„Weg von Kopien und Silos hin zu einem Ökosystem, in dem Daten wie APIs konsumierbar sind.“
Delta Sharing ist Databricks Antwort auf bestehende Herausforderungen mit herkömmlichen Methoden zur Datenweitergabe.
Folgende Fragen wollen wir schnell beantworten:
- Welche Clouds werden unterstützt? → Azure, AWS, GCP, Snowflake, Tableau, Power BI u. a.
- Wie erfolgt die Authentifizierung? → Über kurzlebige Token, optional OIDC-Integration.
- Wie wird sichergestellt, dass nur autorisierte Nutzer Zugriff haben? → Zugriffskontrolle über Unity Catalog & Table-ACLs.
Delta Lake ist eine einfache Einstiegslösung, um Daten auch ohne komplexe APIs oder SFTP auszutauschen (ideal für Partnernetzwerke oder Lieferantenbeziehungen).
Wir schauen uns diese kurz an.
Herausforderungen traditioneller Datenfreigabe
Viele Unternehmen kämpfen mit einer zersplitterten Datenlandschaft. Sie verwenden unterschiedliche Systeme, Formate und Prozesse zur Datenspeicherung und -verarbeitung, was zu einem hohen manuellen Aufwand und dem erschwerten Zugang zu wichtigen Informationen führt.
Auch bei Zalando war dies der Fall. Partner investierten rund 1,5 FTE pro Monat allein in die Extraktion und Konsolidierung von Daten.
Historische Informationen oder große Datenvolumen waren nur schwer zugänglich, während eine fehlende Transparenz in der Governance die Kontrolle über Zugriffe zusätzlich erschwerte.
Das Resultat:
Strategische Entscheidungen verzögerten sich, operative Teams waren mehr mit Datenpflege als mit wertschöpfender Analyse beschäftigt.
Die Probleme durch herkömmliche Data Sharing Methoden:
- Fragmentierte Datenlandschaft: unterschiedliche Systeme, Formate und Prozesse
- Hoher manueller Aufwand: Partner investierten rund 1,5 FTE pro Monat in Extraktion und Konsolidierung
- Limitierte Zugänglichkeit: historische Daten oder große Datenvolumen waren schwer zugänglich
- Intransparente Governance: keine zentrale Kontrolle über Zugriffe und Nutzung
Das Ergebnis: strategische Entscheidungen verzögerten sich, operative Teams waren mit Bereitstellung von Daten statt mit Analyse beschäftigt.
Um die Herausforderungen zu lösen, startete Zalando ein Pilotprojekt, mit dem Ziel den Datenaustausch über eine zentrale Plattform zu vereinheitlichen. Die Lösung wollen wir Ihnen nun präsentieren.
Der Weg zur einheitlichen Data Platform mit Delta Sharing
Die bisherigen Datenaustausch-Methoden – über APIs, SFTP, S3 Buckets oder E-Mail – führten zu einer fragmentierten Datenlandschaft, hohem Pflegeaufwand und unklarer Governance (siehe Grafik).
Unterschiedliche Partnersegmente hatten variierende Präferenzen, von BI-Tools über Spreadsheets bis hin zu programmgesteuertem Zugriff, während gleichzeitig hohe Anforderungen an Echtzeit-Insights, Batch- und Delta-Updates sowie den Zugriff auf historische Daten bestanden.
Mit Delta Sharing konnte Zalando eine einheitliche und skalierbare Plattform für den Datenaustausch etablieren. Die Lösung bietet direkten, sicheren Zugriff auf analysereife Daten in Echtzeit – ganz ohne Kopien.
Scalability: Delta Sharing kann Millionen von Records und Petabytes verarbeiten (Databricks-Blog nennt Beispiele aus dem Handel & Finanzbereich).
Interoperabilität: Auch Partner ohne Databricks können über REST oder BI-Tools zugreifen.
Governance durch Unity Catalog: Durch die Integration mit Unity Catalog wurde zentrale Governance, Zugriffskontrolle und vollständige Nachvollziehbarkeit über Audit-Logs ermöglicht.
Warum Lakehouses die Daten-Architektur der Zukunft sind
In unserem Whitepaper erfahren Sie:
- Wie sich ein Data Lakehouse von anderen Architekturen unterscheidet.
- Wie Sie durch ein Lakehouse KI-Anwendungen schneller umsetzen.
- Wie Sie ihr internes Team befähigen selbstständig KI Projekte zu implementieren.
Das Pilotprojekt zeigte schnelle Effekte: Partner konnten innerhalb weniger Minuten eigene Datenabfragen starten, was die interne und externe Nachfrage nach Delta Sharing erheblich steigerte.
Das Projekt entwickelte sich von einer Abteilungsinitiative zu einer unternehmensweiten Plattform. Heute stellt Zalando über 200 Datensätze mit bis zu 200 TB Daten über Delta Sharing bereit, wodurch manuelle Aufwände reduziert und die Partnererfahrung nachhaltig verbessert wurde.
Die Lösung im Überblick:
- Aufbau einer einheitlichen und skalierbaren Databricks Plattform für den Datenaustausch
- Ablösung fragmentierter Lösungen (APIs, SFTP, CSV-Downloads)
- Direkter und sicherer Zugriff auf analysereife Daten in Echtzeit ohne Kopien
- Integration mit Unity Catalog für zentrale Governance und Zugriffskontrolle
- Vollständige Nachvollziehbarkeit durch Audit-Logging
- Transformation vom Pilotprojekt zur unternehmensweiten Plattform
- Reduzierung manueller Aufwände und Verbesserung der Partnererfahrung
Sie fragen sich, ob Delta Sharing auch für Ihre Zwecke geeignet ist?
Für wen ist Delta Sharing geeignet?
Delta Sharing eignet sich für eine Vielzahl von Partnern und Organisationen – vom kleinen Händler bis zum globalen Konzern:
- Große Partnerunternehmen mit eigenen Data-Engineering-Teams profitieren durch den direkten Zugriff auf analysereife Daten für ihre komplexen Analytics-Pipelines.
- Mittelständische Händler arbeiten oft mit Dashboards und benötigen regelmäßige, automatisierte Daten-Updates.
- Kleinere Partner setzen auf Excel oder einfache Tools – auch sie können ohne technische Hürden Daten nutzen.
- Unternehmen mit Multi-Cloud-Strategie teilen Daten nahtlos über Cloud-Grenzen hinweg.
- Datengetriebene Abteilungen wie Sales, Controlling, BI oder Logistik erhalten jederzeit tagesaktuelle Daten.
- Organisationen mit hohen Governance- und Compliance-Anforderungen sichern sich durch zentrale Zugriffskontrolle, Audits und Sicherheitsrichtlinien ab.
Die Vorteile liegen auf der Hand:
- Weniger manueller Aufwand – Daten stehen sofort bereit.
- Unterstützung von Batch, Streaming und historischen Analysen.
- Granulare Zugriffskontrolle, Audit-Logging und Verschlüsselung.
- Einheitliche Richtlinien dank Unity Catalog.
Ein zentrales Ergebnis bei Zalando: Partner konnten den Zeitaufwand für Datenintegration massiv reduzieren und sich stärker auf Analyse und Geschäftsentscheidungen konzentrieren.
Neue Funktionen von Delta Sharing
Databricks entwickelt Delta Sharing kontinuierlich weiter und lanciert neue Funktionen, die den Datenaustausch noch flexibler, sicherer und skalierbarer machen:
- Materialized Views & Streaming Tables: ermöglichen den direkten Zugriff auf voraggregierte und kontinuierlich aktualisierte Daten.
- Lakehouse Federation: erlaubt das Teilen externer Datenquellen wie Snowflake, BigQuery oder Redshift – über Cloud-Grenzen hinweg.
- Iceberg-Interoperabilität: macht Delta Sharing plattformübergreifend einsetzbar und stärkt offene Standards.
- OIDC Federation: sorgt für sichere, identitätsbasierte Authentifizierung über Extra ID und nahtlose Integration in bestehende Security-Konzepte.
- Network Gateway: reduziert den Aufwand für Netzwerkkonfiguration und vereinfacht den Zugriff für Partner.
Die folgende Grafik zeigt, wie Delta Sharing als offener Standard eine breite Palette an Datenquellen und Tools verbindet – von Databricks, Apache Spark, Hive und Synapse über Snowflake, BigQuery, Redshift oder MySQL/PostgreSQL bis hin zu BI- und Analytics-Tools wie Power BI, Tableau, Excel oder Pandas.
Damit entwickelt sich Delta Sharing von einem reinen Datenaustausch-Tool zu einem strategischen Baustein für ganze Partner-Ökosysteme – mit offener Architektur, Multi-Cloud-Fähigkeit und zentralem Governance-Modell.
Zukunft: Delta Sharing als Standard
Die Einführung von Delta Sharing bei Zalando zeigt, worauf es beim Aufbau einer zentralen Datenplattform ankommt. Aus dem Projekt lassen sich fünf zentrale Erkenntnisse ableiten, die auch für andere Unternehmen relevant sind:
- Partnerbedürfnisse zuerst verstehen – Technologie ist nur Mittel zum Zweck, entscheidend ist der konkrete Nutzen für die Partner.
- Plattform-Ansatz statt Einzellösungen – eine zentrale Lösung vermeidet Fragmentierung und reduziert Komplexität.
- Kollaboration ist entscheidend – Data Foundation, Security und IAM müssen eng zusammenarbeiten, um Governance und Sicherheit zu gewährleisten.
- Dokumentation als Produktfeature – ausführliche Schritt-für-Schritt-Guides beschleunigen das Partner Onboarding und erhöhen die Nutzerfreundlichkeit.
- Operative Exzellenz vor Eigenbau – der Managed Service von Databricks entlastet Teams von Infrastrukturarbeit und schafft Freiraum für wertschöpfende Aufgaben.
Delta Sharing stellt somit eine echte Alternative zum Flickenteppich aus Excel, SFTP und weiteren bestehenden Austauschmechanismen dar.
Fazit: Warum Unternehmen auf Delta Sharing setzen sollten
Delta Sharing adressiert die zentralen Schwächen klassischer Datenaustausch-Methoden wie APIs, SFTP oder manuelle Exporte. Die Fallstudie Zalando zeigt dabei, wie sich fragmentierte Prozesse in eine skalierbare, zentrale Plattform transformieren lassen.
Unternehmen, die frühzeitig auf Delta Sharing setzen, schaffen die Grundlage für datengetriebene Zusammenarbeit im Zeitalter von KI – über Abteilungs- und Cloud-Grenzen hinweg.
Sie wollen mehr zum Thema Delta Sharing erfahren oder noch effizienter mit Ihren Daten arbeiten? Dann kontaktieren Sie und für ein unverbindliches Erstgespräch!
Lassen Sie uns sprechen und Ihr Potenzial entdecken.
Ob und wie künstliche Intelligenz Ihnen weiterhelfen kann, können Sie in einem ersten, unverbindlichen Gespräch mit uns herausfinden.
In diesem Gespräch erfahren Sie:
- Wie Ihr Use-Case technisch am besten umgesetzt werden kann
- Wie wir maximal sicher mit Ihren Kundendaten umgehen
- Wie lange wir für die Umsetzung benötigen und wie ein konkreter Projektplan aussehen könnte
FAQ – Die wichtigsten Fragen schnell beantwortet
Delta Sharing ist ein offenes Protokoll für den sicheren Austausch von Daten über Plattform- und Cloud-Grenzen hinweg. Es ermöglicht Organisationen, Daten direkt und kontrolliert mit externen Partnern zu teilen.
Im Gegensatz zu APIs oder SFTP müssen Daten nicht exportiert oder kopiert werden. Partner greifen live auf die Originaldaten zu, was Redundanz und Verzögerungen vermeidet.
Ja, Delta Sharing ist cloud-agnostisch und funktioniert über verschiedene Cloud-Anbieter hinweg. Das erleichtert den Austausch mit Partnern, unabhängig von deren Infrastruktur.
Nein, auch Partner ohne Databricks-Account können über offene Schnittstellen auf freigegebene Daten zugreifen. Damit ist eine breite Integration in bestehende Analytics-Tools möglich.
Typischerweise beginnt der Einstieg mit einem Pilotprojekt für ein konkretes Partnerszenario. Daraus lässt sich schrittweise eine skalierbare Plattform für den Datenaustausch aufbauen.
Ja. Delta Sharing ist vollständig kompatibel mit Iceberg. Kunden können Iceberg-Tabellen als Quelle oder Ziel nutzen und dabei das Delta Sharing Protokoll verwenden.
Ja. Delta Sharing unterstützt den Austausch mit Empfängern außerhalb der Databricks-Plattform. Empfänger können über Connectoren auf Daten zugreifen (z. B. Spark, pandas, Power BI).
Die häufigsten Use-Cases sind: internes Teilen über Organisationsteile hinweg (Data Mesh), Peer-to-Peer-Sharing mit Partnern/Lieferanten, Daten-Lizenzierung bzw. Datenprodukte sowie Anbindung von SaaS-Applikationen.
Man kann Tabellen, Views, Streaming-Tabellen, Iceberg-Tabellen, Materialized Views, AI-Modelle und mehr freigeben. Auch ganze Schemata sind möglich – alles im Kontext eines Metastoress (z. B. Unity Catalog).
Die Einrichtung und Konfiguration von Delta Sharing sind kostenfrei. Kosten fallen erst an, wenn Daten tatsächlich abgefragt werden: Compute-Kosten für den Empfänger, unter Umständen Egress-Gebühren für den Anbieter, Speicherkosten nur bei Kopien.
