Performante und zukunftssichere Datenpipelines für eine führende europäische Bank
Migration einer monolithischen Oracle-Datenplattform auf eine moderne, voll automatisierte AWS-Architektur.
Überblick
Eine führende europäische Bank musste interne Datenworkloads von Oracle auf eine moderne, cloudbasierte Architektur überführen — eine Architektur, die unterschiedliche Datenlasten bewältigt und gleichzeitig sensible, geschäftskritische Daten sicher verwaltet. DataMax verantwortete Konzeption und Entwicklung der neuen Architektur, definierte Onboarding-Standards für neue Datenquellen, ermöglichte umfassende Tests für Code- und Datenqualität, zerlegte das monolithische System in Microservices und automatisierte die gesamte Release-Pipeline.
Herausforderung
Das bestehende Oracle-System war ein Monolith: Ein Datenladevorgang löste eine Kette von Stored Procedures aus, die strikt linear abgearbeitet wurden — mit einer Mindestlaufzeit von 30 Minuten, die ohne umfangreiches Refactoring nicht zu unterschreiten war. Die Geschäftslogik in diesen Prozeduren hatte keine Testabdeckung, was Änderungen riskant machte. Daten gelangten ohne Qualitätsprüfungen in die Produktion und verursachten fehlerhafte Reports. Releases erforderten zahlreiche manuelle Schritte und langwierige menschliche Eingriffe.
Vorgehen
Wir haben die Architektur auf AWS neu aufgebaut, den gesamten Stored-Procedure-Code nach PySpark portiert und automatisiertes CI/CD, Linting, Unit- und Integrationstests sowie Datenqualitäts-Gates eingeführt, bevor irgendetwas in die Produktion gelangt.
Lösung
Infrastruktur: AWS RDS (PostgreSQL) als Datenbankschicht, PySpark für die Datenverarbeitung, AWS Glue für die geplante Job-Ausführung, AWS S3 für Job-Artefakte und ECS für den Cloud-Migrationsdienst. Entwicklung: Python als Hauptsprache, Poetry und Ruff für das Projektmanagement, pytest für Unit- und Integrationstests sowie GitHub Actions für vollständig automatisiertes CI/CD über alle Umgebungen hinweg.
Ergebnisse
Bereit, Ihre KI-Reise zu beschleunigen?
Lassen Sie uns über Ihre Daten- und KI-Herausforderungen sprechen. Wir helfen bei Strategie und schneller Umsetzung.
Kontakt aufnehmen