Aufbau einer Databricks Plattform für einen Versicherungsvermittler
Für einen deutschen Versicherungsvermittler haben wir eine production-ready Databricks-Datenplattform auf AWS aufgebaut, inklusive vollständiger Governance, automatisierter Datenqualitätsprüfungen und der Identifikation von über drei Millionen fehlerhaften Datensätzen. Damit verfügt der Kunde heute über eine skalierbare, sichere und zukunftsfähige Datenbasis als Single Source of Truth.
Auf einen Blick:
- Kunde: Führender deutscher Versicherungsvermittler
- Branche: Versicherung
- Projektziel: Aufbau einer AWS Databricks Datenplattform nach Best Practices
- Tools: Databricks, AWS, Terraform, Declarative Automation Bundles, Lakeflow Declarative Pipelines
Die Ausgangssituation
Unser Kunde ist ein etablierter Versicherungsvermittler mit rund 120 Mitarbeitenden. Er wollte seine Dateninfrastruktur grundlegend modernisieren, um künftig datengetriebene Entscheidungen auf einer verlässlichen, zentralen Plattform treffen zu können.
Der Kunde betrieb eine gewachsene On-Premise-Dateninfrastruktur, die sich ERP-Systeme und Analytics-Anwendungen wie Power BI teilten. Diese Infrastruktur stieß zunehmend an ihre Grenzen, da sie weder skalierbar war noch für den wachsenden Datenbedarf ausgelegt war. Die Datenaufbereitung erfolgte individuell für einzelne Reports, sie war wenig flexibel und kaum wiederverwendbar. Besonders problematisch war, dass unterschiedliche Reports unterschiedliche Zahlen lieferten, ohne dass diese rückverfolgbar waren. Eine strukturierte Governance sowie Monitoring- und Logging-Funktionalitäten fehlten vollständig.
Vor diesen Herausforderungen stand unser Kunde:
Fehlende Governance & Transparenz
Ein strukturiertes Rechte- und Rollenkonzept nach dem Least-Privilege-Prinzip existierte nicht. Zugriffe wurden nicht protokolliert und laufende Applikationen nicht überwacht. Dadurch erhöhte sich sowohl das Sicherheitsrisiko als auch der Aufwand bei Audits erheblich.
Keine einheitliche Datenbasis
Dem Unternehmen fehlte eine zentrale, reportingfähige „Single Source of Truth”. Je nach Report wurden unterschiedliche Kennzahlen ausgegeben, deren Herkunft nicht nachvollziehbar war. Datengetriebene Entscheidungen waren somit nur eingeschränkt möglich.
Fehlende Datenqualitätsprüfungen
Innerhalb der bestehenden On-Prem Datenpipelines gab es keine systematischen Datenqualitätschecks. Fehlerhafte, unvollständige oder inkonsistente Daten flossen ungefiltert in Reports ein und beeinträchtigten die Verlässlichkeit der Ausgaben.
Gemeinsam mit dem Fachteam des Kunden haben Wir eine AWS-Databricks-Plattform von Grund auf neu aufgebaut, die production-ready und entlang der Medallion-Architektur (Bronze, Silber, Gold) strukturiert ist. Die Plattform wurde vollständig per Infrastructure as Code mit Terraform automatisiert. Im Rahmen eines begleitenden Proof of Concepts wurden zudem erste Datenquellen aus dem On-Premise-SQL-Server vollständig in die neue Plattform integriert und verarbeitet.
Den Einstieg bildete ein gemeinsamer Business-Understanding-Workshop, in dem Datasolut gemeinsam mit dem Kunden Umsatztreiber, Kostenfaktoren und relevante Datenprozesse erarbeitete. Aufbauend darauf wurden in einem Anforderungsworkshop entlang der Medallion-Architektur die notwendigen Datenquellen, Transformationen, Zielsysteme und Integrationsfrequenzen definiert. Das finale Datenmodell im Gold Layer wurde mit dem BEAM*-Framework (Business Event Analysis & Modelling) als Star-Schema entwickelt und besteht aus einer Faktentabelle mit über 212 Millionen Zeilen sowie drei Dimensionstabellen.
1.
Wir haben die gesamte Databricks- und AWS-Infrastruktur mit Terraform als Code aufgebaut – reproduzierbar, versioniert und governance-konform mit Unity Catalog, Cluster Policies und Databricks Asset Bundles.
2.
Wir haben die On-Prem-Daten über Lakeflow Declarative Pipelines integriert und entlang der Medallion Architecture von Bronze über Silver bis Gold als Star Schema mit 212 Millionen Zeilen aufgebaut.
3.
Wir haben mit Data Quality Constraints fehlerhafte Datensätze automatisch identifiziert, in Quarantäne-Tabellen verschoben und so eine saubere Datenbasis im Gold Layer sichergestellt.
Unsere Lösung
Der Weg zum Erfolg
Gemeinsam mit dem Kundenteam haben wir in mehreren strukturierten Phasen, von der Anforderungsaufnahme über die Datenmodellierung bis zum Go-Live, eine vollständige Datenplattform aufgebaut und den Kunden befähigt, selbstständig damit zu arbeiten. Das Projekt wurde pünktlich abgeschlossen und dem Vorstand des Kunden erfolgreich präsentiert – ein wichtiger Meilenstein für die interne Data Culture.
Das Ergebnis
Der Kunde verfügt heute über eine produktionsbereite Databricks-Datenplattform auf AWS. Sie dient als sichere, skalierbare und compliance-konforme Grundlage für alle weiteren Datenvorhaben. Die automatisierten Datenqualitätsprüfungen haben sofort Wirkung gezeigt. Es wurden über 3 Millionen fehlerhafte Datensätze identifiziert und quarantänisiert, was eine direkte Grundlage für Prozessoptimierungen im Unternehmen darstellt.
Gleichzeitig konnte Datasolut dem Kunden dabei helfen, die eigene Datensituation besser zu verstehen und die nächsten strategischen Schritte im Datenbereich gezielt zu planen. In den folgenden 6–12 Monaten werden weitere Datenquellen in die Plattform integriert.
Lassen Sie uns sprechen und Ihr Potenzial entdecken.
Ob und wie künstliche Intelligenz Ihnen weiterhelfen kann, können Sie in einem ersten, unverbindlichen Gespräch mit uns herausfinden.
In diesem Gespräch erfahren Sie:
- Wie Ihr Use-Case technisch am besten umgesetzt werden kann
- Wie wir maximal sicher mit Ihren Kundendaten umgehen
- Wie lange wir für die Umsetzung benötigen und wie ein konkreter Projektplan aussehen könnte