Wir freuen uns, Stackable Data Platform 25.7 vorstellen zu dürfen. Diese Version enthält viele neue Features und hilft dabei, moderne, offene und unternehmensgerechte Datenarchitekturen schneller denn je zu entwerfen und umzusetzen.
Neu sind die experimentelle Unterstützung für Airflow 3.0.1 mit einer neuen React-Benutzeroberfläche, Spark Connect für interaktive Data-Science-Workflows direkt aus Notebooks, wieder hinzugefügte Iceberg-Unterstützung und neue OPA-Autorisierung für NiFi 2.4.0 sowie Trino 476 mit integrierten KI-Funktionen zur Verwendung mit einem LLM Deiner Wahl, z. B. Ollama, OpenAI oder Anthropic. In Kombination mit der OCI-first-Bereitstellung auf oci.stackable.tech, der erweiterten Unterstützung für Kubernetes 1.30 – 1.33 und OpenShift 4.16 – 4.18 sowie über 230 CVE-Korrekturen macht SDP 25.7 Deine Datenplattform intelligenter, sicherer und einfacher zu betreiben.
Neue Plattformfunktionen
- Allgemeine Verbesserungen
- Aus dem Quellcode erstellte Produkte tragen nun Versionssuffixe (z.B.
3.9.3-stackable25.7.0). - Breaking: Listener-Operator für konsistenten externen Zugriff und Metriken wurde in allen Produkten integriert.
- Automatische Erkennung von Cluster-Domänen, wodurch die manuelle DNS-Einrichtung entfällt.
- Aus dem Quellcode erstellte Produkte tragen nun Versionssuffixe (z.B.
- Sicherheit
- Neue TrustStore-Ressource zum Abrufen von Trust-Root-Zertifikaten über SecretClass.
- Formatspezifische Anmerkungen zum Anpassen von Secret-Dateinamen.
- Überwachung:
- Alle Operatoren geben jetzt OpenTelemetry-Protokolle und -Traces aus.
- Einheitliche CLI-Argumente, Umgebungsvariablen und Helm-Werte zum Konfigurieren von Exportern.
- Autorisierung
- Experimentelle Unterstützung zum Abrufen von Benutzergruppen aus Microsoft Entra im OPA-Backend.
- Betrieb
- Operator-Helm-Charts enthalten jetzt RBAC-Patch-Berechtigungen für events.k8s.io/events, wodurch Ereignisaggregationen wie „Fehler ist 10 Mal in 5 Minuten aufgetreten“ möglich sind.
Plattformverbesserungen
- Sicherheit und Schwachstellen
- 230 CVEs wurden in Stackable-Produktimages behoben, darunter 3 kritische und 97 schwerwiegende Probleme.
- Systemdiagnose
- Die interne Systemdiagnose wird nun alle 30 Minuten statt jede Minute ausgegeben.
- Apache Spark
- Unterstützung für Spark Connect (experimentell).
- NiFi
- Unterstützung für rollierende Upgrades zwischen NiFi 2-Versionen.
- Wiederherstellung der Iceberg-Unterstützung in NiFi 2.4.0.
- Autorisierungsunterstützung mit dem Open Policy Agent (OPA)
- ZooKeeper
- Native Unterstützung für Prometheus-Metriken.
- Metrik-Endpunkt über integrierten Anbieter hinzugefügt; Backports von 3.9.4 in das unterstützte 3.9.3-Image.
Neue Produktversionen
Die folgenden neuen Produktversionen werden jetzt unterstützt (eine Liste aller unterstützten Produktversionen findet sich hier):
| Produkt | Neue Version/en | Was ist neu ? |
|---|---|---|
| Airflow | 2.10.5 3.0.1 (experimental) | 3.0.1 (Experimentell) – Serviceorientierte Architektur: Eine neue Task Execution API und ein Airflow-API-Server ermöglichen die Task-Ausführung in Remote-Umgebungen mit verbesserter Isolation und Flexibilität (AIP-72). – Edge Executor: Ein neuer Executor, der verteilte, ereignisgesteuerte und Edge-Compute-Workflows unterstützt (AIP-69), jetzt allgemein verfügbar. – Stabile Authoring-Schnittstelle: DAG-Autoren sollten jetzt den neuen airflow.sdk-Namespace verwenden, um zentrale DAG-Konstrukte wie @dag, @task und DAG zu importieren. – Scheduler-verwaltete Backfills: Backfills werden jetzt wie reguläre DAG-Läufe geplant und verfolgt, mit nativer UI- und API-Unterstützung (AIP-78). – DAG-Versionierung: Airflow verfolgt jetzt strukturelle Änderungen an DAGs im Zeitverlauf und ermöglicht so die Überprüfung historischer DAG-Definitionen über die UI und API (AIP-66). – Asset-basierte Planung: Das Dataset-Modell wurde umbenannt und als Assets neu gestaltet, mit einem neuen @asset-Dekorator und einer saubereren ereignisgesteuerten DAG-Definition (AIP-74, AIP-75). – Unterstützung für ML- und KI-Workflows: DAGs können jetzt mit logical_date=None ausgeführt werden, was Anwendungsfälle wie Modellinferenz, Hyperparameter-Tuning und nicht-intervallbasierte Workflows ermöglicht (AIP-83). – Entfernung veralteter Funktionen: SLAs, SubDAGs, DAG- und Xcom-Pickle und mehrere interne Kontextvariablen wurden entfernt. Verwenden Sie die Upgrade-Tools, um veraltete Verwendung zu erkennen. – Geteilte CLI- und API-Änderungen: Die CLI wurde in airflow und airflowctl aufgeteilt (AIP-81), und die REST-API verwendet jetzt standardmäßig logical_date=None, wenn ein neuer DAG-Lauf ausgelöst wird. – Moderne React-Benutzeroberfläche: Eine vollständige Überarbeitung der Benutzeroberfläche basierend auf React und FastAPI umfasst versionsabhängige Ansichten, Backfill-Management und verbesserte DAG- und Task-Introspektion (AIP-38, AIP-84). – Migrationstools: Verwenden Sie Ruff und Airflow Config Update, um DAGs und Konfigurationen zu validieren. Für das Upgrade sind Airflow 2.7 oder höher und Python 3.9–3.12 erforderlich. |
| Druid | 33.0.0 | – Segmentladegeschwindigkeit erhöhen #17834 – Geplante Batch-Aufnahme (experimentell) #17353 – Verbesserter S3-Upload #17674 – Echtzeit-Abfrageverarbeitung für mehrwertige Zeichenfolgen #1738 |
| HBase | 2.6.2 | Nur Version mit Fehlerbehebung. |
| Apache Hadoop | 3.4.1 | Keine Versionsänderung. |
| Hive | 4.0.0 (LTS) 4.0.1(experimental) | Keine Versionsänderung. |
| Kafka | 3.7.2 (LTS) 3.9.0 4.0.0(experimental) | 4.0.0 (experimentell) – KRaft jetzt im Standardmodus – KIP-848: Die nächste Generation des Consumer Rebalance Protocol – KIP-932: Warteschlangen für Kafka (Early Access) – KIP-966: Eligible Leader Replicas (Vorschau) – KIP-1106: Dauerbasierte Option zum Zurücksetzen des Offsets für Consumer-Clients hinzufügen – KIP-1102: Neustart der Clients basierend auf Timeout oder Fehlercode ermöglichen – KIP-653: Upgrade von log4j auf log4j2 |
| NiFi | 2.4.0 | – Bitbucket Registry Client – Flow Action Reporter-Schnittstelle zur Framework-API für erweiterbares Tracking für den Flow-Konfigurationsverlauf – Neue Box-Prozessoren – Unterstützung für AWS MSK (Kafka) IAM-Authentifizierung – OAuth 2.0 Controller Service zur Unterstützung von JWT Bearer Flow – Astral uv für dynamischen Download von Python-Abhängigkeiten – Kafka-Refactoring mit wesentlichen Verbesserungen und Fehlerbehebungen – Änderung der API-Aufruffrequenz des Registry-Clients von 1 Minute auf 30 Minuten |
| Open Policy Agent | 1.4.2 | – OpenTelemetry: HTTP-Unterstützung und erweiterte Batch-Span-Konfiguration – Außerdem viele Leistungsverbesserungen, neue Pufferoption für Entscheidungsprotokolle |
| Spark | 3.5.6 | Nur Version mit Fehlerbehebung. |
| Superset | 4.1.2 | Nur Version mit Fehlerbehebung. |
| Trino | 476 | Allgemein: – ⚠️ Breaking: Zum Ausführen von Trino ist JDK 24 erforderlich. (#23498) – KI-Funktionen für Textaufgaben an Daten, die OpenAI, Anthropic oder andere LLMs mit Ollama als Backend verwenden (#24963) – Unterstützung für den Vergleich von Werten des Geometrietyps. (#25225) – Fehlerbehebung bei Abfragen, die Casts mit Zeilentypen beinhalten. (#25864) – Behebung von Abfragefehlern, wenn dynamische Katalognamen Groß- und Kleinbuchstaben enthalten. (#25701) – Löschen des Systemkatalogs nicht zulassen. (#24745) – Unterstützung für den Export von OpenTelemetry-Traces unter Verwendung des HTTP-Protokolls, wobei die Konfigurationseigenschaft tracing.exporter.protocol auf http/protobuf gesetzt ist. (#25573) – Unterstützung für Array-Literale. (#25301) – Reduzierung der für DISTINCT- und GROUP BY-Operationen erforderlichen Speichermenge. (#25127) – Einfärben der Ausgabe der Serverkonsole, um die Lesbarkeit zu verbessern. (#25090) Hive-Connector: – Unterstützung für lokales Dateisystem. (#25006 ) – Auswahl des zu verwendenden AWS-Signaturprotokolls bei der Authentifizierung von S3-Anfragen ermöglichen. (#25820) – Unterstützung für benutzerzugewiesene managed Identities für AzureFS. (#23447) – Leistung beim Lesen von Metadaten verbessert, indem das Verhalten des Verzeichnislisten-Cache optimiert wird. (#25749) – Regionen-übergreifender Datenabruf bei Verwendung des nativen S3-Dateisystems ermöglicht. (#25200) – Unterstützung für alle Speicherklassen hinzugefügt, wenn das native S3-Dateisystem für Schreibvorgänge verwendet wird. (#25435) – Sicherstellen, dass Hive-Metastore-Sperren aufgehoben werden, falls während der Sperrenerfassung ein Fehler auftritt. (#25380 ) Iceberg-Connector: – Unterstützung für benutzerzugewiesene verwaltete Identitätsauthentifizierung für AzureFS. (#23447 ) – Unterstützung für Signertypen zum nativen S3-Dateisystem. (#25820) – Leistung der Abfrageplanung beim Lesen aus materialisierten Views verbessern. (#24734) – Ausgeblendete Spalte „$partition“ hinzugefügt. (#24301 ) – Unterstützung für lokales Dateisystem.(#25006) – Unterstützung für S3-Tabellen .(#24815) |
| Zookeeper | 3.9.3 (LTS) | Keine Versionsänderung. |
stackablectl
- Hinweis: In früheren Versionen wurden die Releases des CLI-Tools stackablectl mit Plattform-Updates synchronisiert, obwohl das Tool selbst nicht an eine bestimmte SDP-Version gebunden war. Daher wurde entschieden, stackablectl unabhängig zu versionieren. Ab dieser Version sind die Versionshinweise für stackablectl auf einer eigenen Seite verfügbar .
Weitere Informationen
Weitere Details zum neuen Release und zum Upgrade finden sich in den Release-Notes sowie in den Changelogs der einzelnen Operatoren:
Airflow, Druid, HBase, HDFS, Hive, Kafka, NiFi, OpenPolicyAgent, Spark, Superset, Trino, ZooKeeper