Das Stackable Data Platform (SDP) Release 22.09 ist jetzt verfügbar! Dieser kurze Artikel zeigt dir, wie du es installieren kannst und was du in Bezug auf neue Features und andere Verbesserungen erwarten kannst. Weitere Details findest du auf der Seite „release notes“ oder in den Changelogs der einzelnen Operatoren (hier z.B. für Airflow).
Installation
Der einfachste Weg eine neue Version zu installieren – in der Tat der empfohlene Weg, um alle SDP-Versionen in Zukunft zu verwalten – ist das Tool stackablectl. Sobald das Werkzeug installiert ist, kannst du Releases auflisten, installieren und entfernen, indem du die Befehlsoption release verwendest. Zum Beispiel:
stackablectl release uninstall 22.06
stackablectl release install 22.09
Highlights
Der Fokus in dieser Version liegt auf zwei Features: OpenShift-Kompatibilität und Sicherheit.
OpenShift-Kompatibilität
OpenShift ist mit Kubernetes kompatibel – Kubernetes ist ein zentraler Bestandteil der OpenShift Plattform – aber umgekehrt gilt das nicht. Operatoren und Anwendungen, die in einer Nicht-OpenShift-Kubernetes-Umgebung laufen, müssen angepasst werden, um in OpenShift lauffähig zu sein. OpenShift bietet Vorteile in den Bereichen Skalierbarkeit, Verwaltung von Multiclustern sowie Sicherheit und Compliance.
OpenShift bietet in seinem Embedded OperatorHub auch zertifizierte Operatoren an. In einem ersten Schritt zur Zertifizierung unserer eigenen SDP-Operatoren implementieren wir strengere Sicherheitsregeln. Diese Arbeit wird iterativer Natur sein, aber ähnliche Sicherheitsfunktionen – vor allem die Tatsache, dass Produkt-Pods mit einem benutzerdefinierten ServiceAccount und SecurityContextConstraint laufen müssen – werden im Laufe der Zeit zu anderen Operatoren hinzugefügt werden. Mit dieser Version haben wir weitere Fortschritte in Richtung OpenShift-Kompatibilität gemacht, und die folgenden Operatoren können nun in einer OpenShift Umgebung getestet werden:
- Apache Airflow
- Apache HBase
- Apache HDFS
- Apache Spark auf Kubernetes
- Apache ZooKeeper
Weitere Verbesserungen werden in zukünftigen Versionen erwartet, aber es werden derzeit keine Stabilitäts- oder Kompatibilitätsgarantien für OpenShift-Cluster gegeben.
Sicherheit – TLS
Interne und externe Transportsicherheit mit TLS wurde für die Apache Kafka-, Trino- und ZooKeeper-Operatoren implementiert.
Kafka und ZooKeeper
Bei Kafka und ZooKeeper sind die interne (Broker oder Quorum) und die Client-Kommunikation standardmäßig via TLS verschlüsselt, unter Verwendung von Zertifikaten, die vom Secret Operator erstellt wurden (diese Zertifikate können auf Wunsch durch selbst erstellte Secrets überschrieben werden). Die interne Kommunikation ist ebenfalls standardmäßig via TLS authentifiziert: Dies kann auch für die Client-Server-Kommunikation aktiviert werden, indem ein Verweis auf eine AuthenticationClass in der Kafka/ZooKeeper-Cluster-Definition eingefügt wird.
Trino
Für Trino muss internes TLS (für die verschlüsselte und authentifizierte Kommunikation zwischen Trino-Coordinators und -Workers) explizit konfiguriert werden, da es einen zusätzlichen Leistungs-Overhead bedeutet, für den sich der Benutzer bewusst entscheiden sollte.
Sicherheit – LDAP
Die Operatoren für Airflow, Apache Nifi und Apache Superset können nun einen zentralen LDAP-Server verwenden, um ihre Benutzeridentitäten an einem Ort zu verwalten: Gib einfach eine AuthenticationClass an. Diese wird dann für die Authentifizierung verwendet. Autorisierung mit LDAP ist ebenfalls in einer begrenzten Form verfügbar.
Demos mit stackablectl
stackablectl unterstützt nun den Einsatz von vorgefertigten Demos, die den Rollout von Operator-Stacks mit der Demonstration eines bestimmten Anwendungsfalls für diesen Stack verbinden. Du kannst sie dir hier anschauen:
- Taxi-Datenanalyse mit S3, Trino und Superset
- Erdbeben-Datenvisualisierung mit S3, Kafka, Apache Druid und Superset
- Visualisierung von Wasserständen, ebenfalls mit S3, Kafka, Druid und Superset
Die letzten beiden in dieser Liste kombinieren das anfängliche Batch Laden von Daten mit Near-Real-Time Aktualisierungen durch gestreamte Daten. Wir freuen uns darauf mit dem nächsten Release mehr Demos mit dir zu teilen!