Stackable Data Platform (SDP) Release 23.4 ist seit dieser Woche öffentlich verfügbar!
Highlights
In dieser Version liegt der Schwerpunkt auf dem Clusterbetrieb, einem neuen Statusfeld und den Standard- und benutzerdefinierten Affinitäten.
Clusterbetrieb
Neue Funktionen für den Clusterbetrieb wurde in allen Stackable Operatoren implementiert, wo sie relevant sind. Sie unterstützen das Anhalten des Cluster-Abgleichs (keine Änderungen an der Kubernetes-Ressource) und das vollständige Stoppen des Clusters (die Anzahl von Replikas von StatefulSets, Deployments oder DaemonSets werden auf Null gesetzt. Das führt zum Löschen aller Pods, die zum Produkt gehören. Die Daten bleiben intakt.).
Statusfeld
Operatoren der Stackable Data Platform erstellen, verwalten und löschen Kubernetes-Ressourcen. Um den momentanen Zustand der Produkte einfach abfragen zu können, verwenden Stackable Operatoren mehrere vordefinierte Bedingungstypen, um verschiedene Aspekte der Verfügbarkeit eines Produkts zu erfassen.
Standard / Benutzerdefinierte Affinitäten
In Kubernetes gibt es verschiedene Möglichkeiten zu beeinflussen, wie Pods den Nodes zugewiesen werden. In einigen Fällen ist es sinnvoll, bestimmte Dienste, die viel miteinander kommunizieren, gemeinsam zu platzieren, z. B. HBase-Regionsserver mit HDFS-Datenknoten. In anderen Fällen ist es sinnvoll, die Pods auf so viele Knoten wie möglich zu verteilen. Es kann auch zusätzliche Anforderungen geben, z. B. die Platzierung wichtiger Dienste in verschiedenen Racks oder Rechenzentren. Diese Version implementiert Standard-Affinitäten, die für viele Szenarien ausreichen sollten, erlaubt aber auch benutzerdefinierte Affinitätsregeln auf Rollen- und/oder Rollengruppenebene.
Neue produktspezifische Funktionen
Wir haben auch neue produktspezifische Funktionen hinzugefügt, wie zum Beispiel:
- Unterstützung für das Laden von Airflow-DAGs mit
git-sync. - Unterstützung für die Ausführung des Secret-Operators im unprivilegierten Modus.
- Unterstützung für die Bereitstellung von Kerberos-Keytabs mit dem Secret Operator.
- Abschluss des Rollouts des Logging-Frameworks für alle Operatoren.
Über Stackable lernen
Dieses Release enthält die folgenden neuen Demos:
- eine komprimierte Form der data-lakehouse-iceberg-trino-spark Demo, die die Integration von Trino und Iceberg zur Speicherung und Änderung von Daten demonstriert.
- eine Integration von JupyterHub, PySpark und Apache Hadoop, um ein Jupyter Notebook zur Erkennung von Anomalien bereit zu stellen.
- Konzeptseiten für Clusteroperationen und Pod-Platzierungen.
Weitere Details zu unserem Release und zum Upgrade finden Sie in unseren Release Notes sowie in den Change Logs der einzelnen Operatoren (z.B. für Airflow).