Data-Lakehouse-Technologie im Überblick
Data-Lakehouse-Technologie im Überblick
Ein modernes Lakehouse-Blueprint: Apache NiFi streamt Daten in Apache-Iceberg-Tabellen auf S3, Trino fragt sie per SQL ab und Superset macht Dashboards daraus, mit Schema-Evolution und Time Travel.
Für einen geringeren Ressourcenbedarf gibt es auch die trino-iceberg Demo.
SO GEHT'S LOS
Mit einem Kubernetes-Cluster genügt ein einziger Befehl:
Funktionen
Was diese Demo zeigt
Offenes Tabellenformat
Apache Iceberg bringt ACID, Schema-Evolution und Time Travel in den Lake.
Warehouse-SQL auf dem Lake
Trino fragt Iceberg direkt ab, ohne Kopien und ohne separates Warehouse.
Schema-Evolution
Spalten hinzufügen oder umbenennen, ohne Daten neu zu schreiben.
Streaming-Ingestion
NiFi lädt kontinuierlich Daten in Iceberg-Tabellen.
Time Travel
Frage jeden historischen Snapshot einer Tabelle ab.
Self-Service-BI
Superset-Dashboards direkt auf Trino aufgesetzt.
Demo-Komponenten
Der Stack im Detail
Apache Iceberg
Tabellenformat
Offenes Tabellenformat mit ACID-Transaktionen, Schema-Evolution und Snapshot-Time-Travel.
Apache NiFi
Ingestion
Flow-basierte Ingestion, die Quelldaten in die Iceberg-Tabellen streamt.
Trino
Query-Engine
Verteilte SQL-Engine, die Iceberg-Tabellen mit vollem ANSI-SQL abfragt.
Apache Superset
BI
Dashboards und Exploration auf Basis der Trino-Verbindung.
Demo-Ablauf
Vom Stream zum Dashboard
Installation
Ein Befehl installiert NiFi, Iceberg-gestützten Speicher, Trino und Superset.
Mit NiFi ingesten
Beobachte, wie NiFi Quelldaten in Iceberg-Tabellen auf S3 streamt.
In Trino abfragen
Führe volles SQL gegen die Iceberg-Tabellen aus, ganz ohne Datenbewegung.
Snapshot per Time Travel
Frage einen früheren Snapshot ab und sieh die Tabelle wie damals.
Dashboard erkunden
Öffne das vorgefertigte Superset-Dashboard auf dem Lakehouse.
Bereit, es selbst auszuprobieren?
Baue ein Lakehouse, das Streaming-Ingestion mit SQL auf Warehouse-Niveau verbindet.