Aufbau einer Databricks Plattform für die Freie Presse
Die Freie Presse ist ein regionales Medienunternehmen mit über 750 Mitarbeitenden an mehr als 20 Standorten. Mit täglich über 270.000 verkauften Print- und Digitalabonnements zählt sie zu den bedeutenden Tageszeitungen in Ostdeutschland. Wir durften in unserem ersten gemeinsamen Projekt eine moderne Azure Databricks Plattform aufbauen.
Das neue Lakehouse bündelt zentrale Unternehmensdaten, macht sie analysierbar und schafft die Grundlage für zukünftige Analytics- und KI-Anwendungsfälle.
Auf einen Blick:
- Kunde: Freie Presse
- Branche: Medien
- Projektziel: Aufbau eines Lakehouses als zentrale Daten und Analyseplattform
- Tools: Azure, Python, Databricks, Terraform
Die Ausgangssituation
Vor Beginn des Projekts mussten viele Auswertungen noch manuell erstellt werden. Reports und Kennzahlen entstanden oft aus einzelnen Datenabzügen, die Mitarbeitende lokal auf ihren Laptops verarbeiteten. Eine zentrale und einheitliche Datenbasis fehlte, wodurch es keine verlässliche Grundlage für Analysen gab. Zudem war die Datenverarbeitung nur zum Teil automatisiert.
Ein weiteres Problem: Die relevanten Daten stammten aus mehreren Systemen, die jeweils eigene Schnittstellen hatten. Für jede Auswertung mussten Informationen mühsam aus verschiedenen Quellen zusammengetragen werden. Das kostete sowohl die Fachabteilungen als auch die IT viel Zeit und Ressourcen.
Vor diesen Herausforderungen stand unser Kunde
Manuelle Datensammlung
Für Reports und KPIs wurden Berechnungen teils manuell ausgeführt, ebenso waren manche Datenabzüge nicht automatisiert.
Schlechtere Datenverfügbarkeit
Da die relevanten Daten von mehreren Systemen kommen und jedes eine eigene Schnittstelle hat, war es nötig, verschiedene Schnittstellen zu benutzen, um alle relevanten Daten zu sammeln.
Fehlende zentrale Plattform
Es gab keine zentrale Datenbasis („Single Source of Truth“), auf die alle Fachbereiche zugreifen konnten. Dadurch war es kaum möglich, datenbasierte Projekte wie Machine Learning oder automatisierte Analysen effizient umzusetzen.
Der Weg zur modernen Datenplattform
Damit die Freie Presse ihre Daten zukunftssicher nutzen kann, haben wir eine skalierbare Datenplattform entwickelt. Grundlage dafür waren Azure und Databricks. Zuerst richteten wir eine neue Umgebung ein und integrierten sie in die bestehende Azure-Struktur. Dieser Schritt erfolgte vollständig automatisiert mit Terraform, ganz ohne manuelle Eingriffe.
Anschließend bauten wir Schnittstellen zu den wichtigsten Quellsystemen. So fließen die Unternehmensdaten nun automatisch in die Plattform. Dank Lakeflow Declarative Pipelines konnten wir den Entwicklungsaufwand verringern und die Pflege der Lösung vereinfachen. Alle Daten bereiteten wir in Tabellenform auf. Dabei prüften wir sie gründlich auf Qualität und dokumentierten sie gemeinsam mit den Fachabteilungen und Data Scientists.
Herausforderungen wie fehlende Testdaten oder lange Abstimmungen mit externen Systemanbietern traten im Projektverlauf auf, konnten aber gelöst werden. Am Ende entstand eine zuverlässige und leistungsstarke Datenplattform, die als solide Grundlage für künftige datenbasierte Vorhaben dient.
1.
Die neue Datenumgebung wurde nahtlos in Azure integriert und vollständig automatisiert mit Terraform, ohne manuelle Eingriffe.
2.
Daten aus verschiedenen Quellsystemen fließen jetzt automatisiert in die Plattform, dank moderner Pipelines und klarer Strukturen.
3.
Alle Daten wurden geprüft, dokumentiert und in tabellarischer Form aufbereitet. Bereit für Analysen und neue datengetriebene Use Cases.
Der Weg zum Erfolg
Innerhalb weniger Wochen entstand eine stabile und zukunftsfähige Datenplattform. Sie schafft die Voraussetzungen für datenbasiertes Arbeiten bei der Freien Presse. Die automatisierte Infrastruktur, gut strukturierte Daten und die enge Zusammenarbeit mit den Fachbereichen bildeten die Grundlage für zuverlässige Analysen. Gleichzeitig entstand damit die Basis für kommende Projekte wie maschinelles Lernen und Vorhersagemodelle.
Dieses Projekt zeigt, wie ein Medienunternehmen mit klaren Zielen, modernen Technologien und einer praktischen Herangehensweise den Einstieg in die datengetriebene Zukunft erfolgreich meistern kann.
Jetzt Databricks Plattform mit Datasolut aufbauen. Kontaktieren Sie uns!
Der nächste Schritt für Ihre Datenplattform
Wenn Sie aktuell prüfen, wie Ihre Databricks-Lakehouse-Architektur zukunftsfähig aufgestellt werden kann, ist ein kurzes Orientierungsgespräch oft hilfreicher als stundenlage Recherche.
In diesem Gespräch klären wir:
- wie Ihre Datenplattform strukturiert ist
- wo Reibung oder strukturelle Engpässe entstehen
- ob DSX Lakehouse für Sie der passende Ansatz ist