Zuverlässige und latenzarme Datenpipeline für eine Zeitreihen-IoT-Plattform
Neu konzipierte IoT-Datenpipeline reduziert Nachrichtenverlust um über 99 %.
Überblick
KUGU Home ist Marktführer im digitalen Gebäudemanagement. Mit zunehmender Größe steht das Unternehmen vor einer der größten Herausforderungen der IoT-Welt: das Erfassen und Auswerten von Daten in Echtzeit. DataMax hat KUGU dabei unterstützt, die bestehende Datenpipeline zu refaktorieren, neu zu konzipieren und zu überwachen — mit dem Ergebnis einer um mehr als 99 % reduzierten Nachrichtenverlustrate.
Herausforderung
Nachrichten aus zahlreichen Quellen treffen mit unterschiedlichen Raten am Broker ein. Zu Spitzenzeiten verarbeitet die Pipeline bis zu 1.000 Nachrichten pro Sekunde — Tendenz steigend mit wachsendem Kundenstamm. Die größte Schwachstelle war die Übertragung vom MQTT-Broker zu InfluxDB. Ziel war eine Pipeline, die dieses Datenvolumen zuverlässig, präzise und zeitnah verarbeitet und gleichzeitig künftiges Wachstum aufnehmen kann.
Vorgehen
Wir haben die Übertragungsschicht von MQTT zu InfluxDB mit modernen IoT-Engineering-Methoden neu konzipiert und ein Monitoring-Cockpit entwickelt, das dem Team Echtzeit-Einblick in den Zustand der Pipeline bietet.
Lösung
Wir haben Telegraf eingeführt — ein leistungsfähiges und flexibles Tool, das in der IoT-Branche weit verbreitet ist — um Datenempfang, Transformation und Micro-Batching nach InfluxDB zu übernehmen. Zusätzlich haben wir ein Monitoring-Cockpit entwickelt, das die Empfangsrate anzeigt und das Team bei Problemen in der Pipeline alarmiert. So sind umfassende Einblicke in den Status jederzeit gewährleistet.
Ergebnisse
"DataMax hat bei der Neugestaltung und Überwachung unserer Datenpipeline herausragende Expertise bewiesen — mit deutlichen Verbesserungen bei Performance und Zuverlässigkeit. Ihr proaktiver Ansatz, das tiefe Verständnis unserer Anforderungen und die hervorragende Zusammenarbeit machen sie zu einem absolut empfehlenswerten Partner für jedes Unternehmen, das Unterstützung im Data Engineering in der Cloud sucht. Gemeinsam haben wir unsere Engineering-Stärken zu einer nahtlosen und wirkungsvollen Lösung verschmolzen. Wir freuen uns auf weitere Zusammenarbeit."
Scott Williams — CPTO, KUGU HomeBereit, Ihre KI-Reise zu beschleunigen?
Lassen Sie uns über Ihre Daten- und KI-Herausforderungen sprechen. Wir helfen bei Strategie und schneller Umsetzung.
Kontakt aufnehmen