Stackable Data Platform (SDP) Release 22.11 ist seit dieser Woche öffentlich verfügbar!
Highlights
Im aktuellen Release haben wir neue Funktionen ergänzt: Apache Phoenix erlaubt nun SQL Queries für Apache HBase, Trino funktioniert mit LDAP Authentifizierung und ermöglicht durch die Integration von Apache Iceberg Data Lakehouse Architekturen.
Die Stackable Data Platform unterstützt nun auch Kubernetes 1.25. Wie immer haben wir auch die neuesten Versionen der von uns integrierten Open Source Produkte sorgfältig beobachtet. Wir unterstützen nun Apache Kafka 3.3.1, Apache Hadoop HDFS 3.3.4, Apache NiFi 1.18.0, Apache Druid 24.0.0 und Apache Airflow 2.4.1.
Die Unterstützung des Betriebs haben wir an mehreren Stellen verbessert: Für das Resource Management können nun CPU und Memory Limits für die verschiedenen Produkte über die Stackable Operatoren konfiguriert werden. Auch die Bereinigung verwaister Ressourcen im Cluster wurde optimiert. Insbesondere für Apache NiFi wird das automatisierte Update und die bedarfsgerechte Allokation von persistentem Speicher vereinfacht.
Weitere Details zu unserem Release und wie ein Upgrade durchgeführt werden kann, finden sich in unseren Release Notes sowie in den Changelogs der einzelnen Operatoren (z.B. für Airflow).
Demos mit stackablectl
In unseren neuen Demos zeigen wir exemplarisch, wie mit Stackable Lösungen für Data Lakehouses, Anomalieerkennung, Job Scheduling oder HBase/HDFS/S3 Integration aufgebaut werden können. Demos werden von stackablectl unterstützt:
- Scheduled Jobs mit Airflow mit Airflow und Spark
- Data Lakehouse mit Iceberg, Trino und Spark mit S3, Iceberg, Trino, Nifi und Spark
- Laden von Cycling Daten in HBase/HDFS mit HBase und HDFS
- Anomalieerkennung mit Spark auch mit with S3, Iceberg, Trino und Spark
Wie immer lohnt es sich, nach weiteren Demos in der nächsten Version von stackablectl Ausschau zu halten!