Stackable Data Platform (SDP) Release 24.7 ist jetzt öffentlich verfügbar!
„Security-first“: Vulnerability Management
Mit diesem Release setzen wir das Security Thema unseres 24.3er Releases fort.
Während es selbstverständlich auch neue Funktionen gibt, lag der größte Fokus in diesem Release auf dem Management von Schwachstellen (Vulnerability Management). Dafür gibt es viele gute Gründe:
- Unser oberstes Ziel ist es, das Produkt so sicher wie möglich zu gestalten. Das Beseitigen bekannter Schwachstellen ist ein großer Schritt in diese Richtung
- Vertrauen: Gutes Schwachstellenmanagement stärkt das Vertrauen unserer Kunden in unser Produkt
- Compliance: Viele unserer Nutzer arbeiten in regulierten Umgebungen und wir wollen den Einsatz dort ermöglichen. Schwachstellenmanagement wird hier regelmäßig gefordert.
- Vorbereitung auf den kommenden Cyber Resilience Act
- Unser Co-Founder wird dazu auf dem Bitkom Forum Open Source im September einen Talk halten
Ab 24.7 werden alle Java-basierten Produkte von uns direkt aus dem Quellcode gebaut (build from source). Das erlaubt es uns die Version von Abhängigkeiten zu erhöhen und Features und Bugfixes einzubauen. Außerdem haben wir unsere Docker Base Images von UBI8 auf UBI9 aktualisiert.
Hinter den Kulissen hilft uns dabei ein Workflow, den wir rund um eine SecObserve Instanz aufgebaut haben. Wir nutzen dieses Tool zur Verwaltung der Schwachstellen und werden es auch bald dafür nutzen Security Advisories (VEX) im maschinenlesbaren CSAF Format zu veröffentlichen!
Zur Erinnerung: Seit unserem letzten Release (24.3) veröffentlichen wir SBOMs im CycloneDX Format. Guckt in den letzten Release Notes oder nutzt unseren SBOM Browser um die neuesten SBOMs herunterzuladen.
Das Ergebnis all dieser Bemühung ist eine Reduktion der Schwachstellen um 75% im Vergleich von 24.3 zu 24.7!
Mehr Plattformen, mehr Möglichkeiten
Stackable ist jetzt auch auf ARM64-Architekturen verfügbar! Dank einer Zusammenarbeit mit Ampere und Hewlett Packard Enterprise konnten wir unsere Plattform auf ARM testen und nun auch unterstützen!
In vergangenen Releases hatten wir bereits Vorschauen auf dieses Feature aber es hat immer manuelle Arbeit erfordert und spezielle Overrides und ähnliche Workarounds. Das ist jetzt alles nicht mehr nötig.
SDP funktioniert jetzt „einfach so“ auf ARM64 und X86 Architekturen, sogar ein Mischbetrieb ist möglich.
Wir laden herzlich dazu ein das Feature zu testen!
Produktspezifische Änderungen
Dies ist eine Auswahl von produktspezifischen Änderungen in 24.7. Mehr Details gibt es, wie immer, in den Release Notes.
- Apache Airflow unterstützt modulare DAGs (Python Module)
- Apache Druid unterstützt OIDC zur Authentifizierung und reiht sich damit neben Apache Superset und Trino ein
- Apache HBase
- Wir liefern 2.6.0 in einer experimentellen Version aus, wir raten vom produktiven Betrieb ab, und laden zum testen ein. Eine neue Funktion, die wir mit 2.6.0 ausliefern ist ein Autorisierungsplugin zur Anbindung an den Open Policy Agent damit diese Regeln in Zukunft auch in Code verfasst werden können
- Wir liefern alle nötigen JARs mit um auf S3 zuzugreifen und haben ein Skript gebaut um Snapshots nach S3 zu exportieren
- Secret Operator
- Als weitere Vorsichts- bzw. Sicherheitsmaßnahme haben wir die Standardgültigkeit der default CA auf ein Jahr reduziert
- Der Operator loggt jetzt wenn Secrets erstellt werden um Debugging zu vereinfachen
- Trino hat jetzt support für Row-level filterung und Column Masks in Rego Rules
Die Release Notes beinhalten sämtliche Details! Und natürlich haben wir auch unsere CRD Dokumentation aktualisiert.
Produktversionsänderungen
Diese Tabelle listet alle Änderungen an Produktversionen. Nach unserer Lifecycle Policy unterstützen wir LTS Releaselinien für mindestens ein Jahr und wir liefern immer einen Migrationspfad.
Beispiel: Sie setzen heute Airflow 2.6.3 (alte LTS Linie) ein und können auf SDP 24.7 aktualisieren und dann irgendwann zwischen heute und dem nächsten Release (voraussichtlich 24.11) auf die neue LTS Version 2.9.2 aktualisieren. Die nächste SDP Version wird dann den Support für Airflow 2.6 entfernen.
| Produkt | Neue Version(en) | Entfernt | Deprecated | Bemerkung |
|---|---|---|---|---|
| Airflow | 2.8.4 2.9.2 (new LTS) | 2.7.2 2.7.3 | 2.6.3 (old LTS) 2.8.1 2.8.4 | LTS wechselt von 2.6 auf 2.9 |
| Druid | 30.0.0 (experimental) | 27.0.0 | 28.0.1 | Wir sehen Probleme mit 30.0.0 weshalb dies nur als experimentall gekennzeichnet ist |
| HBase | 2.4.18 2.6.0 (experimental) | | 2.4.17 | Wir planen im nächsten Release auf 2.6 als LTS Version zu wechseln |
| HDFS | 3.4.0 (experimental) | | | Wir planen im nächsten Release auf 3.4 als LTS Version zu wechseln |
| Kafka | 3.6.2 3.7.1 (new LTS) | | 3.4.1 (old LTS) 3.6.1 | |
| NiFi | 1.27.0 (new LTS) 2.0.0-M4 | 1.23.2 | 1.21.0 (old LTS) | |
| OpenPolicyAgent | 0.66.0 | 0.57.0 | 0.61.0 | |
| Spark | 3.4.3 3.5.1 (new LTS) | 3.4.1 | 3.4.2 3.4.3 (old LTS) | |
| Superset | 3.1.3 4.0.2 (new LTS) | 2.1.1 3.0.1 3.0.3 | 2.1.3 3.1.0 3.1.3 | |
| Trino | 451 (new LTS) | 428 | 414 (old LTS) 442 | |
| ZooKeeper | | 3.8.3 | 3.8.4 | 3.9 ist die neue LTS Linie |
Mehr Infos
Weitere Details zu unserem Release und zum Upgrade findest Du in unseren Release Notes sowie in den Change Logs der einzelnen Operatoren:
Airflow, Druid, HBase, HDFS, Kafka, NiFi, OpenPolicyAgent, Spark, Superset, Trino, ZooKeeper