Echtzeit-Anzeige von Pegelständen
Echtzeit-Anzeige von Pegelständen
Pegelstände deutscher Flüsse nahezu in Echtzeit: Apache NiFi zieht die Pegel-Online-API, streamt durch Apache Kafka, wird von Apache Druid ingestet und live in einem Superset-Dashboard gezeigt.
SO GEHT'S LOS
Mit einem Kubernetes-Cluster genügt ein einziger Befehl:
Funktionen
Was diese Demo zeigt
Echte offene Daten
Live-Messwerte der deutschen Pegel-Online-Messstellen.
Analytik im Millisekundenbereich
Druid beantwortet Zeitreihen-Abfragen in Millisekunden.
Backpressure-sicher
Kafka puffert Spitzen zwischen Ingestion und Speicherung.
Streaming-ETL
NiFi zu Kafka zu Druid, kontinuierlich und ohne manuelle Schritte.
Live-Dashboards
Superset aktualisiert sich automatisch, sobald neue Messwerte eintreffen.
Geografische Ansicht
Messstellen mit ihren Werten auf einer Karte dargestellt.
Demo-Komponenten
Der Stack im Detail
Apache NiFi
Ingestion
Ruft die Pegel-Online-API ab und veröffentlicht Messwerte nach Kafka.
Apache Kafka
Streaming
Robustes Event-Log, das den Messwert-Stream puffert.
Apache Druid
Echtzeit-OLAP
Ingestet aus Kafka und liefert schnelle Zeitreihen-Abfragen.
Apache Superset
Dashboards
Live-Dashboard, das Pegelstände über die Messstellen visualisiert.
Demo-Ablauf
Von der öffentlichen API zum Live-Dashboard
Installation
Ein Befehl installiert NiFi, Kafka, Druid und Superset.
Von Pegel Online holen
NiFi ruft die öffentliche API auf und veröffentlicht Messwerte nach Kafka.
In Kafka puffern
Kafka hält den Stream vor und glättet Spitzen.
In Druid ingesten
Druid konsumiert das Kafka-Topic für Echtzeit-OLAP.
Live beobachten
Sieh Pegelstände im Superset-Dashboard aktualisieren.
Bereit, es selbst auszuprobieren?
Stelle eine Echtzeit-Streaming-Analytics-Pipeline auf öffentlichen Sensordaten bereit.