Stackable Data Platform (SDP) Release 24.3 ist jetzt öffentlich verfügbar! Diesmal liegt der Schwerpunkt auf neuen Security-Funktionen und -Verbesserungen.
„Security-first“: neue Features
Security steht im Mittelpunkt der Entwicklungen unserer neuesten Version der SDP, in der wir einige neue Features für die plattformweiten Authentifizierung und Autorisierung ergänzt haben.
Zur Autorisierung setzen wir weiterhin auf den Open Policy Agent (OPA) um regelbasiert Richtlinien zu erstellen und durchzusetzen. Damit die in der Stackable Data Platform integrierten Produkte dies unterstützen können, wurden spezifische Erweiterungen implementiert und integriert: Gern möchten wir hier unseren Beitrag (!) zu Trino hervorheben, der in den aktuellen Versionen nun ganz offiziell eine Zugriffskontrolle unter Verwendung des Open Policy Agents unterstützt. Für unser verteiltes Dateisystem HDFS wird eine richtlinienbasierte Autorisierung durch die Integration OPA erstmals unterstütz, ein Feature, das HDFS-Benutzer und Adminsratoren sich schon lange gewünscht haben.
Die weit verbreitete open-source IAM-Anwendung Keycloak kann eingesetzt werden, um ein einheitliches Identitäts- und Zugriffsmanagement über alle Produkte hinweg umzusetzen. Ermöglicht wird dies durch die neue Komponente User Information Fetcher, die es dem Open Policy Agent erlaubt, Richtlinien unter Berücksichtigung von Benutzer- und Gruppeninformationen aus Keycloak durchzusetzen.
Für die Authentifizierung ist die Unterstützung von Kerberos und OpenID Connect (OIDC) ausgeweitet worden: Nach Apache HDFS steht Kerberos jetzt auch für Apache HBase und Apache Hive zur Verfügung. Ergänzt wird das durch Beispiele für die Ausführung von Apache Spark-Anwendungen in einer Kerberos-aktivierten Umgebung. Last but not least führen wir die Integration von OpenID Connect (OIDC) für ein Single Sign-On an unseren Benutzeroberflächen ein, beginnend mit Apache Superset und Trino.
Schließlich werden erste Produkt-Binärdateien aus dem Quellcode heraus erstellt – initial für Apache Hadoop und Apache HBase – anstatt sie aus offiziellen Versionen zu paketieren. Dadurch haben wir in Zukunft mehr Kontrolle über die Funktionen und Sicherheitsaspekte dieser Produkte.
„Security-second“: Schwachstellenmanagement
Zum ersten Mal veröffentlichen wir Software Bills of Materials (SBOMs) im CycloneDX Format sowohl für Operatoren als auch für Produkt-Images. Dieses Vorhaben wurde durch eine anteilige Förderung des Sovereign Tech Funds finanziert. Unsere SBOMS werden als unterzeichnete, vollständige Attestierungen in unserer OCI-Registry veröffentlicht. Um Benutzern den Einstieg in diese SBOMs zu erleichtern, haben wir ein ausführliches Tutorial erstellt. Außerdem haben wir einen SBOM-Browser öffentlich zugänglich gemacht, der das automatische Herunterladen und Analysieren der CycloneDX JSON-Dateien ermöglicht.
Auch Transparenz ist ein Aspekt von Sicherheit, weshalb wir kontinuierlich an der Verbesserung unserer Dokumentation arbeiten. Wir generieren die Dokumentation unserer Custom Ressource Definitions automatisch und stellen sie unter https://crds.stackable.tech frei zur Verfügung.
Neue produktspezifische Features
Weitere neue Funktionen in unseren Plattform-Komponenten und Operatoren und Produkten werden mit dem Release 24.3. zur Verfügung gestellt:
- Datenspeicherung
- Einführung von Rack-Awareness-Unterstützung für HDFS-Bereitstellungen, wodurch die SDP-Plattform näher an die Funktionsparität mit Bare-Metal-HDFS-Bereitstellungen heranrückt.
- Einführung eines neuen, mit dem HDFS-Image gebündelten Topologieanbieters, der Kubernetes-Labels mit der Clustertopologie verknüpft.
- Kommandozeilen-Tooling
- Das überarbeitete Kommandozeilen-Tool
stackablectlist nun in der Lage, die vom Listener-Operator bereitgestellten Endpunkte aufzuzählen. - Parallelisierte Operator-Installation, wodurch der Einrichtungsprozess von SDP auf neuen Kubernetes-Clustern erheblich beschleunigt wird.
- Das überarbeitete Kommandozeilen-Tool
- Benutzerdefinierte Labels für Helm-Charts
- Helm-Nutzer können jetzt benutzerdefinierte Labels an Stacklets zuweisen, was eine verbesserte Komponentenverwaltung mit Tools von Drittanbietern ermöglicht.
- Besonders wichtige Erweiterungen und Bugfixes:
- Apache Airflow Operator: Unterstützt jetzt die Verwendung von git-sync mit dem KubernetesExecutor.
- Apache-Hadoop-Operator:
- Aufnahme von Kerberos-Principals in die Discovery ConfigMap.
- Umgebungsvariablen können jetzt durch die Eigenschaft envOverrides der Rollengruppe ersetzt werden.
- Apache Spark Operator:
- Dynamische Bereitstellung von Anwendungen, ohne dass eine Änderung der Klassenpfadeinstellungen erforderlich ist.
- Aktualisierte RBAC-Berechtigungen ermöglichen das Löschen von ConfigMaps während der Anwendungsbereinigung.
- Trino-Operator: Hinzufügen von HDFS-Konfigurationsdateien zur Eigenschaft hive.config.resources bei der Verbindung mit einem HDFS-Cluster.
Neue Produkt-Versionen
Die folgenden neuen Produktversionen werden jetzt unterstützt:
| Product | New version/s | What’s new ? |
| Airflow | 2.7.3 2.8.1 | Einführung von Airflow Object Storage und Listener Hooks für Datasets sowie diverse Bugfixes. |
| Druid | 28.0.1 | SQL-Konformität und Verbesserungen der Engine, Verbesserungen bei der Datenaufnahme, Verarbeitung gleichzeitiger Daten. |
| HBase | (2.4.17) | Keine Versionsänderung. |
| HDFS | (3.2.4 3.3.6) | Keine Versionsänderung. |
| Kafka | 3.5.2 3.6.1 | Fehlerbehebungsversionen. |
| NiFi | 1.25.0 | Verbesserungen und Fehlerbehebungen. Über 270 Probleme wurden seit Version 1.23.2 behoben. Fügt neue Komponenten für die Integration von Slack und Zendesk hinzu, unter anderem. |
| OpenPolicyAgent | 0.61.0 | Leistungsverbesserungen, Fehlerbehebungen und Sicherheitskorrekturen für Bibliotheken von Drittanbietern. Werkzeuge zur Vorbereitung bestehender Richtlinien auf die bevorstehende OPA 1.0-Version, die eine neue Version der Rego-Sprache enthalten wird. |
| Spark | 3.4.2 3.5.1 | Releases, die Wartungs-, Sicherheits- und Fehlerbehebungen enthalten. |
| Superset | 2.1.3 3.0.3 3.1.0 | Neueste Patch-Version für die Superset 2.x Linie. Apache Superset 3.1 enthält verschiedene kleinere neue Funktionen/Optimierungen, z.B. Wasserfalldiagramm-Visualisierung, ECharts-Bubblediagramm, verbesserte Datensatzselektoren, automatisch formatierte SQL-Abfragen und Verbesserungen bei der Visualisierung von Länderkarten. |
| Trino | 442 | Viele Verbesserungen und Optimierungen seit Release 428. Vor allem möchten wir die Unterstützung für die Zugriffskontrolle mit dem Open Policy Agent hervorheben, die wir selbst (s.o.) in Release 438 (#19532) beigetragen haben. Außerdem gibt es jetzt ab Release 440 Zeilenfilterung und Spaltenmaskierung in der Zugriffskontrolle des Open Policy Agent. |
| ZooKeeper | 3.8.4 3.9.2 | Sicherheit- und Fehler-Korrekturen. |
Mehr Infos
Weitere Details zu unserem Release und zum Upgrade findest Du in unseren Release Notes sowie in den Change Logs der einzelnen Operatoren:
Airflow, Druid, HBase, HDFS, Kafka, NiFi, OpenPolicyAgent, Spark, Superset, Trino, ZooKeeper