Das Stackable Data Platform (SDP) Release 23.1 ist jetzt öffentlich verfügbar!
Highlights
Der Schwerpunkt dieses Releases liegt auf Logging, Product Image Selektion und der Unterstützung der LDAP-Authentifizierung.
Weitere Details zu unserem Release und wie ein Upgrade durchgeführt werden kann, finden sich in unseren Release Notes sowie in den Changelogs der einzelnen Operatoren (z.B. für Airflow).
Logging
Die Erfassung, Speicherung und Konsolidierung von Logdaten über mehrere Produkte hinweg ist komplex. Um dies zu vereinfachen, haben wir eine Protokollierungsarchitektur implementiert, die Produktprotokolldaten in einem durchsuchbaren Datenspeicher zusammenfasst, OpenSearch. Diese ist bereits für Apache HBase, Apache Hadoop und Apache Zookeeper verfügbar und wird in zukünftigen Releases auf alle unsere Produkte ausgeweitet werden.
Product Image Selektion
Dies ist ein „breaking change“ für alle Operatoren, der jedoch die Flexibilität bei der Auswahl von Product Images deutlich erhöht, da diese nicht mehr aus unserem öffentlichen Repository stammen müssen. Private Repositories können mit ihren eigenen Pull-Richtlinien und Secrets referenziert werden.
LDAP
Die LDAP-Authentifizierung wurde auf mehrere Produkte ausgeweitet, und wir haben unsere Dokumentation dazu entsprechend erweitert.
Neu produktspezifische Funktionen
Zusätzlich haben wir neue produktspezifische Funktionen hinzugefügt, wie zum Beispiel:
- Unterstützung für Trino connectors (Black Hole und Google Sheets)
- Unterstützung für einen konfigurierbaren Druid Segment Cache
- Unterstützung für mehrere Storage-Verzeichnisse für HDFS
- eine Implementierung des Spark History Servers
Stackable kennenlernen
Zur Veranschaulichung und Erläuterung dieser Änderungen haben wir folgendes hinzugefügt:
- eine stackablectl Demo für Logging mit Vector und OpenSearch
- einen stackablectl Stack für OpenLDAP, der in einem neuen LDAP tutorial benutzt wird
- Dokumentationen für Konzepte zu Authentication, Logging und Product Image Selektion