Stackable Data Platform (SDP) Release 23.7 ist jetzt öffentlich verfügbar!
Highlights
Dieses Release bringt die Möglichkeit Ressourcen-Quotas zu definieren, ein Kubernetes-spezifisches Feature namens „Pod-overrides“ und die Möglichkeit neuere Versionen der von SDP unterstützten Produkte zu nutzen.
Ressourcen-Quotas
Explizite Ressourcen-Quotas werden nun auf alle Container angewendet, sowohl auf Operatoren als auch auf Produkte.
Dies ermöglicht es, die Stackable Data Platform auf Kubernetes Clustern auszuführen, die eine ResourceQuota oder LimitRange festgelegt haben. Standardwerte werden verwendet falls keine Nutzer-spezifizierten Werte definiert werden.
Dadurch wird eine vorhersehbare und stabile Betriebserfahrung mit der Stackable Data Platform gewährleistet, da die Ressourcen von einzelnen Komponenten begrenzt werden können und Kubernetes die Verteilung von Ressourcen und Einhaltung der Limits damit besser verwalten kann.
Pod Overrides
Es ist nun möglich, benutzerdefinierte Einstellungen hinzuzufügen, die Elemente eines Pod-Templates (Service, Stateteful Set etc.) auf Ebene von Rollen oder Rolegroups zu spezifizieren. Der Operator wird diese Einstellungen zusammenführen und anwenden.
Das bietet Nutzern die Möglichkeit, jede Einstellung im allgemeinen zu spezifizieren, die ansonsten pro Kubernetes-Pod festgelegt werden müsste, aber nicht direkt über die Definition der benutzerdefinierten Stackable-Ressource zugänglich ist. Weitere Einzelheiten finden Sie in der Dokumentation.
OpenShift-Zertifizierung
OLM-Bundles – eine Voraussetzung für den OpenShift-Zertifizierungsprozess – wurden für jeden Operator erstellt. Alle 15 SDP-Operatoren in Version 23.4.1 sind jetzt OpenShift-zertifiziert und können direkt in einem OpenShift-Cluster eingesetzt werden.
Die OpenShift-Zertifizierung bedeutet, dass unsere Komponenten mit zertifizierten Docker Images und mit den neuesten Sicherheitsupdates erstellt wurden. Sie enthalten außerdem eindeutige Lizenz- und Identifikationsinformationen, und werden regelmäßig auf Sicherheitsprobleme überprüft. Dadurch wird ermöglicht, dass alle SDP Container konsistent und sicher in hybriden Cloud- und On-Premise-Installationen über OpenShift bereitgestellt werden können.
Neue Produktversionen
Die folgenden neuen Produktversionen werden jetzt unterstützt:
- Apache Airflow: 2.6.1
- Apache Druid: 26.0.0
- Apache Kafka: 3.4.0
- Apache NiFi: 1.20.0, 1.21.0
- Opa: 0.51
- Apache Spark: 3.4.0
- Apache Superset: 1.4.2, 1.5.3, 2.0.1, 2.1.0
- Trino: 414
- Apache ZooKeeper: 3.8.1
Jede Produktversion bringt neue Funktionen und Möglichkeiten mit sich, um Ihr Datenteam zu unterstützen und sicherzustellen, dass Sie mit den neuesten Entwicklungen in der Welt der Big Data-Verarbeitung Schritt halten können.
Neue produktspezifische Features
Wir haben auch neue produktspezifische Features hinzugefügt, wie zum Beispiel:
- HDFS: Unterstützung für die Aktivierung des sicheren Modus mit Kerberos
- Spark-k8s: Unterstützung für die Verwendung benutzerdefinierter Zertifikate beim Zugriff auf S3 mit TLS
- Trino: Unterstützung beliebiger Konnektoren unter Verwendung des generischen Konnektors für z.B. den Zugriff auf PostgreSQL
Wir freuen uns sehr, Kerberos zu unterstützen! Kerberos ist der bevorzugte Weg, eine HDFS-Installation abzusichern. Unseren Benutzern zu helfen, ihre Datenplattform sicher zu machen, ist ein wichtiges Ziel unserer Arbeit bei Stackable.
Über Stackable lernen
Weitere Details zu unserem Release und zum Upgrade finden Sie in unseren Release Notes sowie in den Change Logs der einzelnen Operatoren (z.B. für Airflow).