Zum Hauptinhalt springen
DPD Schweiz

Open Source Data Warehouse für Near-Realtime BI bei DPD Schweiz

Für DPD Schweiz unterstützte CONSENSO den Aufbau eines neuen Data-Warehouse-Programms zur Ablösung einer bestehenden Microsoft-BI-Lösung. Die neue Plattform basiert auf einem Open-Source-Stack mit eigenentwickeltem ETL-System, ClickHouse als BI-Datenbank, Postgres-basiertem Master Data Management und wiederverwendbaren Datenmodellen für verschiedene Reporting-Tools.

Auf einen Blick

Ausgangslage

  • Ablösung einer bestehenden Legacy-BI-/Microsoft-BI-Lösung
  • Hohe operative Datenmengen im Paket- und Logistikgeschäft
  • Viele Datenquellen, Integrationen und Stakeholder
  • Schwierige Übersetzung fachlicher Anforderungen in technische Spezifikationen
  • Bedarf an klarer Roadmap, MVP-Struktur und priorisierten Use Cases
  • Zentralisierung und Anreicherung von Stammdaten für BI-Zwecke

Lösung

  • Aufbau und Strukturierung des Data-Warehouse-Programms
  • Technisches Requirement Engineering für BI, ETL und Datenmodellierung
  • Prototyping von SQL Queries, Datenmodellen und ETL-Transformationen
  • Eigenentwickeltes ETL-System für Datenpipelines
  • ClickHouse als performante BI-Datenbank für grosse Transaktionsdatenmengen
  • Postgres-basiertes Master Data Management mit eigenen Stammdaten-Screens
  • eMondrian / ROLAP-Schicht für wiederverwendbare Cubes und Datenmodelle
  • Nutzung verschiedener Analyse- und Dashboarding-Tools auf derselben Datenbasis

Ergebnis

  • Near-Realtime-Zugriff auf operative Daten
  • Einheitlichere Reporting- und Analytics-Grundlage
  • Bessere finanzielle und operative Transparenz
  • Reduktion manueller Datenpflege durch zentrales MDM
  • Wiederverwendbare Datenmodelle für unterschiedliche BI-Tools
  • Kosteneffiziente Plattform durch gezielten Einsatz von Open-Source-Technologien
  • Grundlage für zukünftige Advanced-Analytics-Anwendungsfälle

DPD Schweiz verarbeitet im Paketgeschäft täglich grosse Mengen operativer Daten aus verschiedenen Systemen, Schnittstellen und Geschäftsbereichen. Um Reporting, operative Steuerung und Datenanalyse zukunftsfähig aufzubauen, sollte die bestehende BI-Lösung auf Microsoft-Technologie durch eine moderne, flexible und kosteneffiziente Data-Warehouse-Plattform ersetzt werden.

CONSENSO unterstützte DPD Schweiz beim Aufbau und der Strukturierung des Data-Warehouse-Programms. Neben technischem Requirement Engineering und Prototyping für SQL Queries, Datenmodelle und ETL-Transformationen half CONSENSO auch dabei, das Programm organisatorisch zu strukturieren und klare Prioritäten für die Umsetzung eines ersten MVPs zu schaffen.

Die Lösung basiert auf einem Open-Source-Stack mit einem eigenentwickelten ETL-System, ClickHouse als performanter Datenbank für grosse Transaktionsdatenmengen, einer Postgres-basierten MDM-Komponente für zentrale Stammdaten und eMondrian als ROLAP-Schicht für wiederverwendbare Cubes und Datenmodelle. Dadurch können Datenmodelle in verschiedenen Dashboarding- und Analyse-Tools genutzt werden, unter anderem in Apache Superset, QlikSense, Metabase, Excel oder weiteren BI-Frontends.