Databricks Lakebase in der Versicherungsbranche
Wir haben einem Versicherungsdienstleister geholfen, seine Datenbankabfragen mit Databricks Lakebase von bis zu 90 Sekunden auf unter 1 Sekunde zu beschleunigen, bei einer Fehlerquote von 0 %.
Das Unternehmen stellt Versicherungs- und Investmentmaklern eine eigene Software zur Verwaltung ihrer Bestände bereit. Mit wachsender Kundenzahl und Datenmenge stießen die zugrunde liegenden Datenbankabfragen zunehmend an ihre Grenzen.
Auf einen Blick:
- Kunde: Führender deutscher Versicherungsvermittler
- Branche: Versicherung
- Projektziel: Bestehenden Abfrageprozess beschleunigen, ausfallsicher gestalten und Compute-Ressourcen effizienter nutzen
- Tools: Databricks, Python, SQL, Lakeflow Spark Declarative Pipelines (SDP), Databricks Lakebase (Postgres)
Die Ausgangssituation
Der Kunde stellt Versicherungs- und Investmentmaklern eine eigene Software bereit, über die Bestandsdaten abgerufen werden. Durch ein starkes Wachstum an Neukunden und eine dadurch stetig steigende Datenmenge dauerten einzelne Abfragen so lange, dass sie systemseitig abgebrochen wurden. Damit war ein Kernfeature der Software für die Endnutzer nicht mehr zuverlässig nutzbar. Die Analyse zeigte drei Ursachen: eine zu langsame zugrunde liegende Infrastruktur, unzureichende Verarbeitungsgeschwindigkeit neuer Daten und ineffiziente SQL-Query-Strukturen.
Vor diesen Herausforderungen stand unser Kunde:
Geringe Geschwindigkeit
Durch den starken Zuwachs an End-Usern konnten relevante Informationen in der Software nicht mehr verlässlich und schnell abgerufen werden. Abfragen dauerten teilweise so lange, dass sie abgebrochen wurden.
Fehlende Skalierbarkeit
Mit jedem weiteren Nutzerwachstum auf der Plattform wäre die Abfrage-Performance weiter gesunken, die bestehende Architektur war nicht auf diese Entwicklung ausgelegt.
Geringe Reusability
Bestehende Datenpipelines und -produkte waren ausschließlich im bisherigen Lösungsumfeld nutzbar und ließen sich nicht in weitere Datenprodukte oder Datenstrecken einbinden.
Das Projekt startete mit einer strukturierten Analyse der bestehenden Engpässe: In einem Workshop mit einem intern entwickelten Framework wurde zunächst der fachliche Status quo erfasst, anschließend der technische Status quo analysiert und Schwachstellen identifiziert. Auf dieser Basis konzipierte Datasolut eine Lösung inklusive Schätzung der laufenden Betriebskosten und verfeinerte sie iterativ gemeinsam mit dem Kunden. Zentrales Element der Umsetzung war Databricks Lakebase, eine vollständig verwaltete Postgres-Datenbank, die eng in die bestehende Databricks-Lakehouse-Umgebung integriert ist und für Anwendungen mit niedriger Latenz ausgelegt ist.
1.
Neue Datenquellen wurden über Lakeflow Spark Declarative Pipelines (SDP) in Databricks eingebunden, um Daten zuverlässig und effizient für die operative Nutzung bereitzustellen.
2.
Wir setzten eine neue Postgres-Datenbank mit Databricks Lakebase auf, um Abfragen mit niedriger Latenz direkt neben den analytischen Lakehouse-Daten zu ermöglichen.
3.
Nutzerspezifische Zugriffslogiken und weitere Informationen wurden vorab in der Postgres-Datenbank berechnet und zusammengeführt.
Unsere Lösung
Der Weg zum Erfolg
Gemeinsam mit dem Fachbereich des Kunden entwickelten Wir die neue Datenarchitektur und implementierten sie erfolgreich in die bestehende Software. Ein zuvor instabiler Prozess steht den Endnutzern nun in Sekundenbruchteilen zur Verfügung.
Das Ergebnis
Abfragen, die zuvor zwischen 5 und 90 Sekunden dauerten und teilweise in einem Time-out endeten, laufen heute in unter 1 Sekunde. Auch die Fehlerquote durch Time-outs oder andere Fehler sank auf 0 % – bislang trat kein einziger Fehler mehr auf. Durch die Skalierbarkeit von Databricks Lakebase stellt weiteres Nutzerwachstum kein Problem mehr dar. Das Projektziel wurde vollumfänglich erreicht, die Erwartungen des Kunden sogar übertroffen. Aktuell unterstützen Wir den Kunden bei weiteren Use Cases, insbesondere bei der Integration von KI-Funktionen wie Agents und Genie Agents in die bestehende Software.
Lassen Sie uns sprechen und Ihr Potenzial entdecken.
Ob und wie künstliche Intelligenz Ihnen weiterhelfen kann, können Sie in einem ersten, unverbindlichen Gespräch mit uns herausfinden.
In diesem Gespräch erfahren Sie:
- Wie Ihr Use-Case technisch am besten umgesetzt werden kann
- Wie wir maximal sicher mit Ihren Kundendaten umgehen
- Wie lange wir für die Umsetzung benötigen und wie ein konkreter Projektplan aussehen könnte