Wir freuen uns, das Release 25.3 der Stackable Data Platform bekannt zu geben. Es bietet neue Funktionen, verbesserte Sicherheit und höhere Leistung, um Organisationen dabei zu unterstützen, ihre Datenplattform effizient und sicher zu betreiben und zu optimieren.
Mit diesem neuen Release unterstützt die Stackable Data Platform nun Kubernetes 1.32, 1.31 und 1.30 sowie RedHat Openshift in den Versionen 4.17, 4.16, 4.15 und 4.14.
Neben vielen neuen Plattformfunktionen und -verbesserungen kommen neue Funktionen aus Produktversionen wie z.B. Trino 470 und Superset 4.1.1.
Gern hervorheben möchten wir auch die neue begleitende Stackablectl-Demo jupyterhub-keycloak, die die Integration der Stackable Data Platform mit Jupyterhub zeigt.
Neue Plattformfunktionen
- Allgemein:
- Von Helm bereitgestellte Operatoren enthalten jetzt eine zusätzliche Pod-Annotation, um Rollouts auszulösen, wenn sich ConfigMap-Inhalte ändern.
- Java-Produktoperatoren unterstützen jetzt das Festlegen von JVM-Argumenten.
- Autorisierung:
- Apache Airflow und Superset unterstützen jetzt den Open Policy Agent für die Autorisierung.
- Sicherheit:
- Zusätzliche „trust roots“ können in einer autoTls SecretClass angegeben werden.
- Für selbstsignierte Zertifikate werden jetzt benutzerdefinierte Schlüssellängen unterstützt.
- Überwachung:
- Produkte protokollieren jetzt Informationen zur Containerumgebung beim Start und in regelmäßigen Abständen.
Plattformverbesserungen
- Schwachstellen:
- 41 CVEs wurden behoben, darunter 6 kritische und 16 Probleme mit hohem Schweregrad.
- OCI-Registrierung:
- Das OCI-Register unter oci.stackable.tech ist jetzt stabil und ist ab diesem Release die Standardeinstellung.
- DNS Lookup Performance:
- Experimentelle Unterstützung für verbesserte DNS-Leistung durch Angabe eines vollständig qualifizierten Domänennamens.
- Autorisierung:
- OPA Rego-Regeln erfordern nicht mehr
future.keywordsImporte.
- OPA Rego-Regeln erfordern nicht mehr
- Fehlerbehebungen:
- Es wurden Probleme für Pods behoben, die im Status „Unknown“ festhingen und zu Leistungseinbußen im
jmx_exporterführten.
- Es wurden Probleme für Pods behoben, die im Status „Unknown“ festhingen und zu Leistungseinbußen im
Neue Produktversionen
Die folgenden neuen Produktversionen werden jetzt unterstützt (eine Liste aller unterstützten Produktversionen finden sich hier):
| Produkt | Neue Version/en | Was ist neu ? |
|---|---|---|
| Airflow | 2.10.4 | Diese Version war bereits in 24.11 enthalten, relevante neue Funktionen finden sich hier Versionshinweise. |
| Druid | 31.0.1, 30.0.1 (LTS) | Offizielle Infos: https://druid.apache.org/docs/31.0.0/release-info/release-notes/ Highlights: – Window-Funktionen sind GA #17087 – Gleichzeitiges Anhängen und Ersetzen ist GA – Delta Lake-Unterstützung für komplexe Typen #16884 – Delta-Lake-Unterstützung für Snapshot-Versionen #17004 – Projektionen (experimentell) #17214 – Speicherverbesserungen #16863 #16849 #16958 – Die Unterstützung von Java 8 ist jetzt abgekündigt |
| Apache Hadoop | 3.4.1 (LTS) | Bugfix-Version. |
| HBase | 2.6.1 (LTS) | Diese Version war bereits in 24.11 enthalten, relevante neue Funktionen finden Sie hier Versionshinweise für diese Veröffentlichung. |
| Hive | 4.0.0 (LTS) 4.0.1 (experimental) | Neue Version 4.0, offizielle Release Notes. Es gibt zahlreiche neue Funktionen und Verbesserungen, die meisten davon betreffen jedoch die Hive-Query-Engine. Da Stackable nur den Metastore verwendet, sind die meisten davon irrelevant. Der Vorteil für Stackable-Anwender liegt vor allem darin, dass die Angriffsfläche für CVE-Angriffe deutlich reduziert wurde. |
| Kafka | 3.7.2 (LTS) 3.9.0 | Zu den Highlights zählen: – Implementierung von Deaktivierung und erneuter Aktivierung für Tiered Storage KAFKA-15132 – Remote-Log-Metadaten-Flag zum Dump-Log-Tool hinzugefügt KAFKA-16228 |
| NiFi | 1.28.1 2.2.0 (experimental) | Konfigurierbare Gruppen-Claim-Zuordnung für OIDC zur NiFi-Registrierung NIFI-13016. |
| Spark | 3.5.5 (LTS) | Bugfix-Version. |
| Superset | 4.1.1 | Zu den Highlights zählen: – feat(alert/report): Optionale CC- und BCC-Felder für E-Mail-Benachrichtigungen #29088 – Unterstützung für den NOT LIKE-Operator #2984 – Apache Superset-CLI-Befehl „Factory Reset“. #27221 – Unterstützung eines dynamisches Mindestintervall für Warnungen und Berichte #29241 – feat(trino): Funktionalität zum Hochladen von Daten #29164 – Datenzoom scrollt mit der Maus #28629 – Hinzufügen ALLER Länder zum Länderkarten-Plugin #28265 – feat(dashboard): Metadatenleiste zur Kopfzeile #27857 |
| Trino | 470 | Breaking Changes – ⚠️ Breaking change: Gekürzeter Name für den Kafka-Ereignis-Listener auf „kafka“. (#23308) – ⚠️ Breaking change: Deaktivierung Unterstützung für ältere Dateisysteme für alle Kataloge. Die gewünschte Dateisystemunterstützung muss mit fs.native-azure.enabled, fs.native-gcs.enabled, fs.native-s3.enabled oder fs.hadoop.enabled in jedem Katalog aktivieren werden. Verwende die Migrationsleitfäden für Azure-Speicher, Google Cloud-Speicher und S3 falls nicht vom Legacy-Support gewechselt wurde. (#23343) – ⚠️ Breaking change: JDK 23 erforderlich, um Trino auszuführen, einschließlich aktualisierter Versionen JVM-Konfiguration. (#21316) – Iceberg: ⚠️ Breaking change: Wegfall von veralteten Schema- und Tabellenargumenten aus der Tabellenfunktion table_changes. Verwende stattdessen schema_name and table_name. (#24324) – Iceberg: ⚠️ Breaking change: Verwendung der Konfigurationseigenschaft „iceberg.rest-catalog.warehouse“ anstelle von „iceberg.rest-catalog.parent-namespace“ mit Unity-Katalogen. (#24269) – Delta: ⚠️ Breaking change: Reduzierung der Speichernutzung des Koordinators für den Metadaten-Cache der Delta-Tabelle und Aktivierung der Konfiguration delta.metadata.cache-max-retained-size, um die Speichernutzung zu steuern. Wegfall der Konfigurationseigenschaft delta.metadata.cache-size und Erhöhung des Standardwerts für delta.metadata.cache-ttl auf 30m. (#24432) – Iceberg: ⚠️ Breaking change: Umbenennung der Spalte „partitions“ in der Metadatentabelle „$manifests“ in „partition_summaries“. (#24103) – JDBC: ⚠️ Breaking change: Erhöhung der Mindestlaufzeitanforderung auf Java 11. (#23639) Features und Verbesserung – Performanceverbesserung für LZ4-, Snappy- und ZSTD-Komprimierung und Dekomprimierung verwendet für Exchange-Spooling mit fehlertoleranter Ausführung. (#22532) – Veröffentlichung einer JDBC-Treiber-JAR ohne Abhängigkeiten von Drittanbietern. (#22098) – Unterstützung für die Ablaufverfolgung mit OpenTelemetry in JDBC. (#23458) – Performanceverbesserung für Abfragen mit einer redundanten DISTINCT-Klausel. (#23087) – Iceberg: Unterstützung für WASB Unterstützung des Azure Storage-Dateisystems. (#23511) – Delta: Unterstützung für WASBS Unterstützung des Azure Storage-Dateisystems. (#23548) – Iceberg: Unterstützung für WASBS Unterstützung des Azure Storage-Dateisystems. (#23548) – WebUI: Schaltflächen in der Abfrageliste, um auf Abfragedetails zuzugreifen. (#22831) |
| Zookeeper | 3.9.3 (LTS) | Bugfix-Version. |
stackablectl
- Neue Demo:
- Die neue Demo jupyterhub-keycloak ist verfügbar. Sie zeigt eine sichere Multi-User-Data-Science-Umgebung auf Kubernetes mit Single-Sign-on für Jupyter-Notebooks, integriert mit Stackable Spark und S3-Speicher.
- Versionierung:
- Demos und Stacks sind jetzt versioniert. stackablectl installiert standardmäßig die neueste stabile Demo und/oder den neuesten Stack.
- Quellen für Helm-Charts:
- Neues Argument
--chart-sourcehinzugefügt, um Operator-Charts entweder aus einer OCI-Registrierung oder einem index.yaml-basierten Repository abzurufen.
- Neues Argument
- Unterstützung interner PKI:
- stackablectl unterstützt jetzt Umgebungen mit interner PKI unter Verwendung von
rustls-native-certs.
- stackablectl unterstützt jetzt Umgebungen mit interner PKI unter Verwendung von
- Verbesserte Nachverfolgung und Logging:
- Verbesserte Ablaufverfolgung und Log-Ausgabe für bessere Diagnose und Überwachung.
Weitere Informationen
Weitere Details zum neuen Release und zum Upgrade finden sich in den Release-Notes sowie in den Changelogs der einzelnen Operatoren:
Airflow, Druid, HBase, HDFS, Hive, Kafka, NiFi, OpenPolicyAgent, Spark, Superset, Trino, ZooKeeper