Aufbau einer Databricks Plattform für einen Versicherungsvermittler
Für einen deutschen Versicherungsvermittler haben wir eine production-ready Databricks-Datenplattform auf AWS aufgebaut. Dazu gehören eine vollständige Governance, automatisierte Datenqualitätsprüfungen und die Identifikation von über drei Millionen fehlerhaften Datensätzen. Damit verfügt der Kunde heute über eine skalierbare, sichere und zukunftsfähige Datenbasis als Single Source of Truth.
Auf einen Blick:
- Kunde: Führender deutscher Versicherungsvermittler
- Branche: Versicherung
- Projektziel: Aufbau einer AWS Databricks Datenplattform nach Best Practices
- Tools: Databricks, AWS, Terraform, Declarative Automation Bundles, Lakeflow Declarative Pipelines
Die Ausgangssituation
Unser Kunde ist ein etablierter Versicherungsvermittler mit rund 120 Mitarbeitenden. Er wollte seine Dateninfrastruktur grundlegend modernisieren, um künftig datengetriebene Entscheidungen auf einer verlässlichen, zentralen Plattform treffen zu können.
Bisher betrieb der Kunde eine gewachsene On-Premise-Dateninfrastruktur, die sich ERP-Systeme und Analytics-Anwendungen wie Power BI teilten. Diese Infrastruktur stieß jedoch zunehmend an ihre Grenzen. Denn sie war weder skalierbar noch für den wachsenden Datenbedarf ausgelegt. Außerdem erfolgte die Datenaufbereitung individuell für einzelne Reports. Dadurch war sie wenig flexibel und kaum wiederverwendbar.
Besonders problematisch war zudem, dass unterschiedliche Reports unterschiedliche Zahlen lieferten, ohne dass diese rückverfolgbar waren. Darüber hinaus fehlten eine strukturierte Governance sowie Monitoring- und Logging-Funktionalitäten vollständig.
Gemeinsam mit dem Fachteam des Kunden haben wir eine AWS-Databricks-Plattform von Grund auf neu aufgebaut. Sie ist production-ready und entlang der Medallion-Architektur (Bronze, Silber, Gold) strukturiert.
Infrastructure as Code und Proof of Concept
Die gesamte Plattform haben wir dabei per Infrastructure as Code mit Terraform automatisiert. Im Rahmen eines begleitenden Proof of Concepts haben wir zudem erste Datenquellen aus dem On-Premise-SQL-Server vollständig in die neue Plattform integriert und verarbeitet.
Den Einstieg bildete ein gemeinsamer Business-Understanding-Workshop. Darin erarbeitete Datasolut gemeinsam mit dem Kunden Umsatztreiber, Kostenfaktoren und relevante Datenprozesse. Aufbauend darauf definierten wir anschließend in einem Anforderungsworkshop entlang der Medallion-Architektur die notwendigen Datenquellen, Transformationen, Zielsysteme und Integrationsfrequenzen.
Das finale Datenmodell im Gold Layer entstand schließlich mit dem BEAM*-Framework (Business Event Analysis & Modelling) als Star-Schema. Es besteht aus einer Faktentabelle mit über 212 Millionen Zeilen sowie drei Dimensionstabellen.
1.
Wir haben die gesamte Databricks- und AWS-Infrastruktur mit Terraform als Code aufgebaut. Dadurch ist sie reproduzierbar, versioniert und governance-konform mit Unity Catalog, Cluster Policies und Databricks Asset Bundles.
2.
Zunächst haben wir die On-Prem-Daten über Lakeflow Declarative Pipelines integriert. Anschließend haben wir sie entlang der Medallion Architecture von Bronze über Silver bis Gold als Star Schema mit 212 Millionen Zeilen aufgebaut.
3.
Wir haben mit Data Quality Constraints fehlerhafte Datensätze automatisch identifiziert und in Quarantäne-Tabellen verschoben. So haben wir eine saubere Datenbasis im Gold Layer sichergestellt.
Unsere Lösung

Der Weg zum Erfolg
Gemeinsam mit dem Kundenteam haben wir in mehreren strukturierten Phasen eine vollständige Datenplattform aufgebaut. Diese reichten von der Anforderungsaufnahme über die Datenmodellierung bis zum Go-Live. Gleichzeitig haben wir den Kunden befähigt, selbstständig damit zu arbeiten. Das Projekt wurde pünktlich abgeschlossen und anschließend dem Vorstand des Kunden erfolgreich präsentiert – ein wichtiger Meilenstein für die interne Data Culture.
Das Ergebnis
Der Kunde verfügt heute über eine produktionsbereite Databricks-Datenplattform auf AWS. Sie dient als sichere, skalierbare und compliance-konforme Grundlage für alle weiteren Datenvorhaben. Außerdem haben die automatisierten Datenqualitätsprüfungen sofort Wirkung gezeigt. Denn sie haben über 3 Millionen fehlerhafte Datensätze identifiziert und quarantänisiert. Das stellt eine direkte Grundlage für Prozessoptimierungen im Unternehmen dar.
Gleichzeitig konnte Datasolut dem Kunden dabei helfen, die eigene Datensituation besser zu verstehen und die nächsten strategischen Schritte im Datenbereich gezielt zu planen. So werden in den folgenden 6–12 Monaten weitere Datenquellen in die Plattform integriert.
Lassen Sie uns sprechen und Ihr Potenzial entdecken.
Ob und wie künstliche Intelligenz Ihnen weiterhelfen kann, können Sie in einem ersten, unverbindlichen Gespräch mit uns herausfinden.
In diesem Gespräch erfahren Sie:
- Wie Ihr Use-Case technisch am besten umgesetzt werden kann
- Wie wir maximal sicher mit Ihren Kundendaten umgehen
- Wie lange wir für die Umsetzung benötigen und wie ein konkreter Projektplan aussehen könnte