Migration des KI-Workloads zu AWS für ESG-X
Migration der OCR-, Übersetzungs- und Embedding-Pipeline von ESG-X von GCP/Gemini auf eine AWS-native Worker-Architektur mit Amazon Bedrock Nova.
Überblick
ESG-X hilft Unternehmen, Nachhaltigkeits- und ESG-Dokumente zu strukturiertem, durchsuchbarem Wissen zu verarbeiten. DataMax hat einen zentralen KI-Verarbeitungs-Workload vom bestehenden GCP-Setup auf AWS migriert, Gemini-basierte OCR- und Übersetzungsflüsse durch Amazon Bedrock Nova ersetzt und die Verarbeitungspipeline auf ECS Fargate bereitgestellt. Der neue Service wurde in die bestehende ESG-X-Anwendung integriert — Dokumente fließen weiterhin durch das aktuelle Produkt, während die KI-Workload-Ausführung auf AWS verlagert wurde.
Herausforderung
Die bestehende Dokumentenverarbeitungs-Pipeline war von KI-Services auf Basis von GCP/Gemini abhängig. ESG-X benötigte einen Migrationspfad, der die GCP-Abhängigkeit reduziert und gleichzeitig den Kern-Anwendungsfluss bewahrt — ohne Unterbrechung für die Nutzerinnen und Nutzer. Der Workload erforderte zudem die zuverlässige Verarbeitung von ESG-Dokumenten — inklusive OCR für PDFs, Übersetzung ins Englische, Chunking, Erzeugung von Embeddings, Speicherung der Artefakte und Rückführung in die ESG-X-Anwendung.
Vorgehen
Wir haben ein Processing-Gateway auf AWS-Seite gebaut, das Dokumenten-Jobs von der bestehenden ESG-X-Anwendung entgegennimmt, asynchron in eine Queue legt und isolierte Fargate-Worker für die Dokumentenverarbeitung startet. Der Worker lädt die Ausgangsdokumente herunter, extrahiert Text, wendet bei Bedarf Bedrock Nova OCR an, übersetzt nicht-englische Chunks mit Bedrock Nova, erzeugt Embeddings, speichert Pipeline-Artefakte in S3 und schickt die verarbeiteten Datensätze über sichere Cross-Cloud-Authentifizierung zurück an den ESG-X-Ingest-Service.
Lösung
DataMax hat eine Terraform-verwaltete AWS-Architektur für den migrierten KI-Workload konzipiert und ausgerollt. API Gateway und SQS bilden eine zuverlässige Ingestion-Schicht, Lambda orchestriert die ECS-Fargate-Tasks und Fargate betreibt die Engine für die Dokumentenverarbeitung. Amazon Bedrock Nova übernimmt OCR und Übersetzung, während S3 Run-Artefakte wie Zeitberichte, Qualitätsmetriken, extrahierten Text und Embedding-Zusammenfassungen speichert. Die Pipeline umfasst CloudWatch-Logging, IAM-gestützte Berechtigungen, umgebungsspezifische Infrastruktur sowie Regressions-Fixtures zur Validierung von OCR-, Übersetzungs- und Embedding-Qualität.
Ergebnisse
"Die enge Zusammenarbeit mit Gleichgesinnten ist entscheidend, besonders wenn es um kritische Daten- und KI-Themen geht. Wir hatten vom ersten Tag an das Gefühl, mit DataMax dieselbe Sprache zu sprechen, und freuen uns, die Zusammenarbeit fortzusetzen."
Valentin Aman — Market Lead DACH, DCycleBereit, Ihre KI-Reise zu beschleunigen?
Lassen Sie uns über Ihre Daten- und KI-Herausforderungen sprechen. Wir helfen bei Strategie und schneller Umsetzung.
Kontakt aufnehmen