Wir freuen uns, dass das neue Release 24.11 der Stackable Data Platform jetzt öffentlich verfügbar ist! Es verbessert die Flexibilität, Leistung und Sicherheit der Plattform und stellt sicher, dass Organisationen ihren Plattformbetrieb weiterhin effizient und sicher skalieren können.
Mit dieser neuen Version unterstützt die Stackable Data Platform jetzt auch Kubernetes 1.31, 1.30 und 1.29 sowie RedHat Openshift in den Versionen 4.15 und 4.14.
Neue Plattformfunktionen
- Authentifizierung:
- Apache Airflow und Apache NiFi mit OIDC- Unterstützung.
- Apache Kafka erhält Kerberos- Unterstützung.
- Sicherheit:
- Bereitstellung von TLS-Zertifikaten wird jetzt mit cert-manager unterstützt.
- Die RSA-Schlüssellänge kann für generierte Schlüsselpaare angepasst werden.
- Erweiterte Secret Operator- Berechtigungen zum Verwalten von Listener-Volumes.
- Listener-Updates:
- Die Kafka-Konnektivität unterstützt jetzt IP-Adressen und vollqualifizierte Domänennamen (FQDNs).
- Abhängigkeiten:
- Apache HBase unterstützt jetzt Azure Data Lake Storage Gen2 (ADLS).
- Betrieb:
- Unterstützung von HDFS -Upgrades mit manuellem Eingriff.
- Verschiedenes:
- NiFi , Airflow und Superset unterstützen jetzt benutzerdefinierten Python-Code in Konfigurationsdateien.
- Docker-Images für OpenShift-Sicherheitseinschränkungen und Nicht-Root-Container-Setups wurden aktualisiert.
Plattformverbesserungen
- Schwachstellen: 142 CVEs wurden behoben, darunter 11 kritische und 55 mit hohem Schweregrad.
- Autorisierung:
- AD Anbindung, um User Gruppen zu ermitteln und in OPA Rego Rules zu verwenden.
- Verbesserte Leistung des HDFS OPA Authorizer ; die User Info Fetcher API wurde durch eine Rego-Bibliothek ersetzt.
- Protokollierung:
- Erhöhte Volumengröße des NiFi-Protokoll und reduziertes Protokollprüfintervall; Option zum Deaktivieren des Jobs „Create-Reporting-Task“ wurde hinzugefügt .
- Überwachung:
- Performanceprobleme des JMX-Exporters wurden für mehrere Produkte behoben.
- Zuhörer:
- Korrigierte Verteilung von Service-Annotationen im Kafka Listener.
- Verschiedenes:
- Reduzierte CRD-Größe.
- Fehlerbehebungen:
- Behobene Probleme mit Spark -Jobübermittlungen, Airflow-Konfigurationsüberschreibungen, Trino- Anmeldeinformationen und HBase-Konfiguration und weitere Bigfixes.
Neue Produktversionen
Die folgenden neuen Produktversionen werden jetzt unterstützt (eine Liste aller unterstützten Produktversionen finden sich hier):
| Produkt | Neue Version/en | Was ist neu ? |
|---|---|---|
| Airflow | 2.9.3 (LTS) 2.10.2 (exp) | Die experimentelle Version 2.10.2 enthält: – Datasets lösen keine inaktiven DAGs mehr aus #38891 – OpenTelemetry Traces für Apache Airflow #37948 – Mehrere Executors gleichzeitig verwenden #40701 |
| Druid | 30.0.0 (LTS) | Wechsel von experimentell zu LTS, beinhaltet: – ZooKeeper-basiertes Segmentladen entfernt #15705 – GroupBy-Abfragen verbessert #15757 – UND-Filterleistung verbessert #15838 – RabbitMQ-Erweiterung #14137 – Supervisor-Ansicht verbessert #16318 – Verwendung der Query-Ansicht, um in Tabellen und Spalten zu suchen #15990 |
| Hive | 4.0.0 (exp) | Die experimentelle Version 4.0.0 enthält zahlreiche neue Funktionen. Die vollständige Liste findet sich unter: https://issues.apache.org/jira/secure/ReleaseNote.jspa?version=12343343&styleName=Text&projectId=12310843 |
| Kafka | 3.8.0 | Zu den Highlights gehören: – Kafka Tiered Storage V1 KAFKA-15420 – JBOD-Unterstützung in Tiered Storage hinzugefügt KAFKA-16399 – KIP-768: Unterstützung für opake (d. h. nicht-JWT) Token in SASL/OAUTHBEARER erweitern KAFKA-15878 – Unterstützung beim Festlegen der zstd-Komprimierungsstufe KAFKA-7632 – Implementierung des ConsumerInterceptor KAFKA-15942 |
| NiFi | 2.0.0 (exp) | Update von 2.0.0-M4 zu 2.0.0 GA (weiterhin experimentell) |
| OpenPolicyAgent | 0.67.1 | Bugfix-Version von 0.67.0 inkl. einer Mischung aus Funktionen und Leistungsverbesserungen. Details unter: https://github.com/open-policy-agent/opa/blob/main/CHANGELOG.md#0671 |
| Spark | 3.5.2 (LTS) | Bugfix-Version |
| Trino | 455 | Zu den Highlights gehören: – Neuer Exasol connector #16083 – Unterstützung der Funktionen euclidean_distance(), dot_product(), und cosine_distance() #22397 – Verbesserte Performance von Abfragen mit selektiven Joins, durch feingranulare Filterung der Zeilen mithilfe dynamischer Filter #22411 – Verbesserte Performance beim Column Masking mit Open Policy Agent access control #21359 – Unterstützung für ein Event-Listener-Plugin, das Ereignisse an Kafka veröffentlicht #22426 – ⚠️ Breaking change: Verbesserung der Abfrageparallelität bei geringem Arbeitsspeicher, indem die Konfigurationseigenschaft query.low-memory-killer.delay entfernt wird #22936 – Abfragestartzeit in QueryStatistics in allen Event listeners #23113 – Unterstützung für S3-Dateisystemverschlüsselung mit fehlertolerantem Ausführungsmodus #22529 – Behebung eines Speicherverfolgungsproblems für Aggregationen, das zu Worker-Abstürzen mit Speicherfehlern führen konnte #23098 |
Weitere Infos
Weitere Details zum Release und den Upgrade-Möglichkeiten finden sich in den Release Notes sowie in den Changelogs der einzelnen Operatoren:
Airflow , Druid , HBase , HDFS , Kafka , NiFi , OpenPolicyAgent , Spark , Superset , Trino , ZooKeeper