Lakehouse Architektur: 6 Best Practices

Die Lakehouse Architektur vereint das Beste von Data Lakes und Data Warehouses – ohne deren Einschränkungen. Sie bietet Flexibilität, Effizienz und Skalierbarkeit für moderne Datenanforderungen.

Wir setzen für unsere Kunden bereits seit einigen Jahren auf diese neue Architektur von Datenplattformen. In vielen Projekten haben wir die Vorteile gegenüber Data Warehouse oder Data Lakes kennengelernt, da wir diese früher oft selbst implementiert haben. 

Heute würden wir unseren Kunden nicht mehr zu einem klassischen DWH oder Data Lake raten, da sich die Anforderungen im Zuge der KI-Revolution geändert haben. Vor allem seit 2025 beschleunigt sich diese Entwicklung rasant, da handlungsfähige KI-Systeme, beziehungsweise KI-Agenten zum zentralen Treiber geworden sind. Klassische Auswertungen und Modelle, die noch vor wenigen Jahren aktuell waren, sind diesen Anforderungen nicht mehr gewachsen.

Diese sechs Prinzipien definieren, wie ein Lakehouse aufgebaut und genutzt werden sollte:

1. Daten kuratieren und vertrauenswürdige Data-as-Products bereitstellen

Daten sind nur dann wertvoll, wenn sie korrekt, zugänglich und nutzbar sind. 

Der Aufbau des Lakehouse stellt dies sicher:

• Minimale Duplizierung – Daten werden an so wenigen Stellen wie möglich vorgehalten.
• Verlässliche Daten – Sicherstellung von Qualität und Konsistenz.
• Verwertbare Erkenntnisse – Daten nicht nur speichern, sondern auch nutzen.

Warum Lakehouses die Daten-Architektur der Zukunft sind

In unserem Whitepaper erfahren Sie:

• Wie sich ein Data Lakehouse von anderen Architekturen unterscheidet.
• Wie Sie durch ein Lakehouse KI-Anwendungen schneller umsetzen.
• Wie Sie ihr internes Team befähigen selbstständig KI Projekte zu implementieren.

Jetzt herunterladen

2. Datensilos beseitigen und Datenbewegungen minimieren

Datensilos behindern Innovationen. Ein Lakehouse beseitigt diese Hindernisse:

• Bereitstellung einer einzigen Single-Source-of-Truth – Alle arbeiten mit denselben Daten.
• Eliminieren von Mehrfachkopien – keine redundanten Datenpipelines.
• Schaffen einer einheitlichen Plattform – Teams arbeiten bis zu 50% schneller, wenn die Daten zentralisiert sind.

3. Demokratisierung der Wertschöpfung durch Self-Service

Jeder sollte auf Daten zugreifen und sie nutzen können – nicht nur ihre Datenteams. 

Eine Lakehouse Architektur ermöglicht dies:

• Self-Service-Zugang – Nutzer können Daten frei erkunden und analysieren.
• Tool-Flexibilität – Verwenden Sie die Tools, die Sie bevorzugen, ohne sich an einen Anbieter zu binden.
• Keine technischen Barrieren – Daten sind für Analysten, Data Engineers und Geschäftsanwender gleichermaßen zugänglich.

4. Einheitliche Data-Governance-Strategie

Ein starker Governance-Rahmen gewährleistet Sicherheit, Compliance und Konsistenz.

Eine zentrale Stelle:

• Wendet Governance über alle Tools hinweg an – Richtlinien funktionieren plattformübergreifend.
• Verwendet zentralisierte Governance – Lösungen wie Unity Catalog (Databricks), Horizon Catalog (Snowflake) oder die OneLake-Metadatenvirtualisierung von Microsoft vereinheitlichen die Zugriffskontrolle plattformübergreifend.
• Balance zwischen Sicherheit und Flexibilität – Schutz der Daten bei gleichzeitiger Nutzbarkeit.

Seit 2025 bieten auch Snowflake und Microsoft vergleichbare, offene Governance-Schichten, die mit mehreren Systemen zusammenarbeiten. Zuvor galt das als Alleinstellungsmerkmal von Databricks.

5. Offene Schnittstellen und Formate fördern

Vermeiden Sie die Bindung an einen bestimmten Anbieter und machen Sie Ihre Datenarchitektur zukunftssicher.

 Ein Lakehouse:

• Verwendet offene, zunehmend austauschbare Formate – Delta Lake und Apache Iceberg können heute über die Iceberg-REST-Schnittstelle plattformübergreifend genutzt und um Parquet ergänzt werden.
• Eliminiert technische Einschränkungen – Keine proprietären Einschränkungen.
• Verbindet sich mit offenen Ökosystemen – arbeitet nahtlos mit verschiedenen Werkzeugen und Plattformen zusammen.

Die Funktion „UniForm“ in Delta Lake gleicht seit der Übernahme des Unternehmens hinter Apache Iceberg automatisch Iceberg-kompatible Metadaten zu jeder Delta-Tabelle ab. So können beispielsweise Snowflake, BigQuery, Redshift, Trino und Athena Delta-Tabellen direkt als Iceberg gelesen werden, was dazu führt, dass nicht mehr das Speicherformat über die Unabhängigkeit von einem Anbieter entscheidet, sondern zunehmend die Wahl des Katalogs. Dort werden Zugriffsrechte und Zusammenarbeit mehrerer Systeme geregelt.

6. Skalierbarkeit und Optimierung von Kosten und Leistung

Eine moderne Datenplattform muss leistungsfähig und skalierbar sein. 

Ein Lakehouse:

• Bewältigt wachsende Datenanforderungen – Skaliert für große und komplexe Anwendungsfälle.
• Optimiert die Performance – Entwickelt für schnelle Abfragen und Verarbeitung.
• Optimiert die Kosten – neue Rechen-Generationen wie Snowflake Gen2 oder Databricks Serverless bringen spürbare Geschwindigkeitsvorteile, allerdings zu höheren Kosten pro Zeiteinheit.

Ob sich Geschwindigkeitsvorteile lohnen, hängt dabei vom Anwendungsfall ab. Unabhängige Tests zeigen 25 bis 47 Prozent mehr Geschwindigkeit bei 20 bis 40 Prozent höheren Kosten. Dies sollte im besten Fall durch eine laufende Kostenkontrolle begleitet werden.

Die Zukunft des Datenmanagements ist ein Lakehouse!

Ein Lakehouse bietet das Beste aus beiden Welten – Skalierbarkeit und Flexibilität bei überschaubarer Komplexität, während Kosten und Leistung aktiv gesteuert werden. Beim Befolgen dieser Grundsätze können Unternehmen ihre Datenstrategie zukunftssicher machen und damit einen echten Mehrwert schaffen.

Sie wollen sich tiefer in die Welt des Lakehouse einlesen? Dann sind Sie hier richtig: Data Lakehouse: Was ist das und wie steigert es den Geschäftswert?

Der Aufbau eines Lakehouse

Das Lakehouse besteht aus mehreren Schichten, die wir uns jetzt genauer ansehen:

1. Cloud-Speicher: Das Grundgerüst eines jeden Lakehouse – sei es Databricks oder Fabric – ist die Storage Cloud. Wir können dabei zwischen 3 Arten der Cloud unterscheiden:
   1. Object Storage basiert: AWS S3, Azure Data Lake, Google Cloud
   2. Cloud-natives Filesystem: HDFS oder Azure Blob Storage
   3. Hybrid: IBM Cloud Pak, Cloudera Data Platform
      • Daten werden meist im Delta- oder im Apache-Iceberg-Format in das Lakehouse geladen. Über die offene Iceberg-Schnittstelle sind diese Funktionen mittlerweile weitgehend austauschbar (siehe Prinzip 5).
2. Data Governance: Darauf aufgebaut folgt die Data Governance Schicht. Sie bietet Sicherheit, Compliance, Qualität und Kontrolle über die gespeicherten und verarbeiteten Daten.
   • Beispiele für Data Governance Schichten sind der Unity Catalog von Databricks, Snowflake Horizon Catalog sowie Purview und die Metadatenvirtualisierung von Microsoft Fabric. Sie alle bieten mittlerweile eine offene Zusammenarbeit über mehrere Systeme hinweg (siehe Prinzip 4).
3. Compute Engine: Die Engine bedient die verschiedenen Use Cases und Workloads.
4. Operative Datenschicht (neu seit 2025): Ergänzend zur klassischen analytischen Speicherschicht bauen die Anbieter eine schnelle, transaktionsfähige Datenschicht für den laufenden Betrieb ein. Bei Databricks übernimmt Lakebase diese Aufgabe. Das ist eine verwaltete Postgres-Datenbank, basierend auf der 2025 übernommenen Technologie von Neon, die Speicherung und Rechenleistung trennt und sich für schnelle Lese- und Schreibzugriffe eignet, etwa als Datenquelle für KI-Agenten. Lakehouse und diese operative Schicht sollen langfristig zu einer gemeinsamen Ansicht im jeweiligen Katalog zusammenwachsen. 
5. Werkzeuge zur Datenbereitstellung: In der Schicht befinden sich verschiedene Werkzeuge für ETL, Data Science oder Business Intelligence. Bei Databricks beispielsweise, bündelt Lakeflow die Datenanbindung, -verarbeitung und Jobsteuerung für den gesamten ETL-Prozess in einem Werkzeug, während sich Berichte im Business Intelligence-Bereich zunehmend direkt per KI-Agent, wie zum Beispiel Genie, erstellen lassen.
6. Data Personas: Die verschiedenen Data Teams wie Data Engineer, Machine Learning Engineer, Data Scientist oder Business Analyst greifen durch die Tools auf die Daten zu, um mit ihnen KI Use Cases umzusetzen.
7. Steuerungsebene für KI-Agenten (neu seit 2025): Databricks bündelt sie in „Genie“ und „Agent Bricks“, Snowflake in den „Cortex Agents“, Microsoft in den „Data Agents“ von Fabric. Diese Ebene erlaubt es, dass KI-Agenten mit natürlicher Sprache auf die im Lakehouse gepflegten Daten zugreifen, Berichte erstellen und – bei entsprechender Freigabe – auch selbst Aufgaben ausführen. Kontrolliert wird der Zugriff über eine eigene Gateway-Komponente – bei Databricks das Unity-Catalog-KI-Gateway, bei Snowflake das Cortex-KI-Gateway (siehe Prinzip 4). 

Best Practices: Die Lakehouse Architektur von Databricks

Databricks bietet eine leistungsstarke Lakehouse Architektur. Die Plattform integriert nahtlos SQL-Abfragen für Business Intelligence und bietet gleichzeitig eine leistungsstarke Umgebung für maschinelles Lernen und künstliche Intelligenz mit nativer Unterstützung für Apache Spark, TensorFlow und PyTorch. Dank der Multi-Cloud-Fähigkeit kann die Lakehouse-Architektur von Databricks flexibel auf AWS, Azure und Google Cloud eingesetzt werden und ermöglicht über offene Schnittstellen die Anbindung an zahlreiche weitere Data Science- und BI-Tools. Wie Sie Power BI und Databricks optimal verbinden, erfahren Sie in unserem Blog: Power BI und Databricks Best Practices

Durch die Nutzung von Delta Lake als zentrales Speichersystem ermöglicht die Architektur ACID-Transaktionen, Schema-Evolution und Time-Travel-Funktionen, wodurch Datenkonsistenz und Governance sichergestellt werden. Daten werden in offenen Formaten wie Apache Parquet gespeichert, sodass keine proprietären Speicherlösungen erforderlich sind und Interoperabilität mit anderen Plattformen gewährleistet bleibt. Seit der Übernahme des Unternehmens hinter Apache Iceberg liest und schreibt Databricks über die UniForm-Funktion zusätzlich auch dieses Format, sodass Kundinnen und Kunden nicht mehr strikt zwischen Delta Lake und Iceberg wählen müssen.

2026: Neue Bausteine der Databricks-Plattform

Über die im Kapitel „Der Aufbau eines Lakehouse“ beschriebenen neuen Schichten, wie Lakeflow als ETL-Werkzeug oder Lakebase als operative Datenschicht hinaus hat Databricks seit 2025 folgende Bausteine speziell für den Umgang mit KI-Agenten ausgebaut:

• Genie – ein KI-Agent, der auf Basis der im Unity Catalog verwalteten Daten beim Programmieren unterstützt. Eine eigene Variante beantwortet Fachfragen in natürlicher Sprache und erstellt Berichte für Fachabteilungen.
• Agent Bricks – eine Umgebung mit geringem Programmieraufwand, in der auch Fachanwenderinnen und Fachanwender eigene KI-Agenten erstellen können, unter anderem zur automatisierten Auswertung von Dokumenten.
• Unity-Catalog-KI-Gateway – eine eigene Kontrollebene, über die der Zugriff von KI-Agenten auf Unternehmensdaten gesteuert und überwacht wird.

Expertentipp von Laurenz Wuttke, Databricks MVP bei Datasolut:
„Die Formatfrage ist entschieden. Delta und Iceberg lassen sich heute problemlos gemeinsam nutzen. Wer über Anbieterbindung nachdenkt, sollte daher weniger auf das Speicherformat schauen als auf den Katalog, da dieser entscheidet, wer auf welche Daten zugreifen darf und wie gut sich mehrere Systeme miteinander verbinden lassen.“

Databricks wurde 2025 zum fünften Mal in Folge als Marktführer im Gartner Magic Quadrant für Cloud-Datenbank-Managementsysteme eingestuft.

Video-Tipp:

Mehr zu den neuen Databricks-Bausteinen erfahren Sie in unserem neuen Video „Jeder Databricks-Layer erklärt in 10 Minuten“, in dem Laurenz Wuttke unter anderem Lakeflow, Lakebase, Genie und Agent Bricks erklärt.

Anwendungsbeispiel: Lakehouse Implementierung

Wir durften unsere Kunden in verschiedenen Projekten bei der Implementierung von Lakehouse Plattformen unterstützen und sprechen aus jahrelanger Erfahrung. Wie genau wir bei so einem Projekt vorgehen, wollen wir Ihnen nun vorstellen.

Aufbau eines Lakehouse in der Textilindustrie

Unser Kunde verfügt über 5.000 Mitarbeiter und mehr als 150.000 Vertragskunden und ist ein führendes Unternehmen der deutschen Textilindustrie. Ziel war es, die Effizienz im Datenmanagement zu steigern und die Umsetzung von Machine-Learning- und Business-Intelligence-Anwendungen zu erleichtern, indem wir eine zentrale Daten- und KI-Plattform auf Basis von Databricks aufbauten.

In einem Erstgespräch hielten wir die Herausforderungen fest:

• Ineffiziente Datenverwaltungsprozesse: Die manuelle Aufbereitung der in verschiedenen Quellsystemen erfassten Daten war zeitaufwendig und band erhebliche personelle Ressourcen.
• Ungenutztes Potenzial der Kundendaten: Trotz des umfangreichen Datenbestands konnten keine wertvollen Erkenntnisse zur Verbesserung von Marketing- und Vertriebsmaßnahmen gewonnen werden.
• Ressourcenintensive Datenaufbereitung: Zehn IT-Mitarbeiter waren mit der manuellen Datenaufbereitung beschäftigt, was die Effizienz und die Möglichkeit, schnell verwertbare Erkenntnisse zu gewinnen, erheblich beeinträchtigte.

Aufgrund der Anforderungen und Voraussetzungen unseres Kunden (Datenstruktur, Erfahrungen, Vorstellungen) entschieden wir uns für den Plattformanbieter Databricks.

Das Projekt wurde in 3 Phasen umgesetzt:

1. Aufbau der Datenpipeline: Automatisierung der Datenspeicherung und -transformation zur Sicherstellung einer sauberen und einheitlichen Datenintegration in Databricks. Einführung von Continuous Integration/Continuous Deployment (CI/CD) und Unit-Tests zur Gewährleistung einer hochwertigen Datenverarbeitung und Modellentwicklung.
2. Machine Learning- und Business Intelligence-Pipeline: Implementierung gemäß Best-Practice-Standards mit hohem Automatisierungsgrad bei der Modellvalidierung zur optimalen Umsetzung von Machine-Learning-Projekten.
3. Weiterbildung und Unterstützung der Mitarbeiter: Umfassende Schulungen und Mentoring, um das interne Data-Science-Team zu befähigen, das neue System effektiv zu nutzen und erste Projekte im Bereich der Künstlichen Intelligenz umzusetzen.

In nur 6 Monaten besaß unser Kunde ein voll funktionsfähige Lakehouse Architektur mit…

• …der Einbindung der Daten von über 150.000 Vertragspartnern
• …einer zusätzlichen Pipeline für Erstellung und Verwaltung zukünftiger Machine-Learning-Modelle
• …dem unmittelbaren Beginn von 2 Machine-Learning-Projekten zur genauen Vorhersage von Kundentrends.

Zum Use Case: Daten- und KI-Plattform in Databricks

Fazit

Die Lakehouse-Architektur kombiniert die Stärken von Data Lakes und Data Warehouses, ohne deren Einschränkungen zu übernehmen. Sie ermöglicht ein skalierbares, flexibles und kosteneffizientes Datenmanagement, das den modernen Anforderungen an KI-gestützte Analysen gerecht wird.

Mit ihren sechs Grundprinzipien – von der Kuratierung vertrauenswürdiger Daten über die Vermeidung von Datensilos bis hin zu offenen Schnittstellen und einer einheitlichen Data Governance – stellt sie eine zukunftssichere Lösung dar. Unternehmen profitieren von einer zentralen Datenplattform, die sowohl selbstständige Auswertungen als auch optimierte Leistung und Kostenkontrolle ermöglicht.

Seit 2025 kommt außerdem eine zusätzliche Dimension hinzu. Lakehouse-Plattformen entwickeln sich zunehmend zu umfassenden KI-Datenplattformen, auf denen auch KI-Agenten eigenständig und bei entsprechender Kontrolle auch über eine eigene Governance-Schicht arbeiten können.

In unseren Projekten setzen wir diese Architektur bereits erfolgreich ein und empfehlen sie als strategische Basis für moderne Datenplattformen: Kontaktieren Sie uns!

Häufig gestellte Fragen zur Lakehouse Architektur

Vinzent Wuttke

Geschäftsführer

Lassen Sie uns sprechen und Ihr Potenzial entdecken.

Ob und wie künstliche Intelligenz Ihnen weiterhelfen kann, können Sie in einem ersten, unverbindlichen Gespräch mit uns herausfinden.

In diesem Gespräch erfahren Sie:

• Wie Ihr Use-Case technisch am besten umgesetzt werden kann
• Wie wir maximal sicher mit Ihren Kundendaten umgehen
• Wie lange wir für die Umsetzung benötigen und wie ein konkreter Projektplan aussehen könnte

Jetzt Erstgespräch vereinbaren