Stackable

Plattform

Die Open-Source-Datenplattform

Kombination von best practices

Beliebte Data Apps, einfach zu verwenden

Stackable bietet Dir eine abgestimmte Auswahl der besten Open Source Data Apps wie Apache Kafka®, Apache Druid, Trino und Apache Spark™. Speichere, verarbeite und visualisiere Deine Daten mit den neuesten Versionen. Bleibe auf der Höhe der Zeit, nicht hinter ihr.

Sämtliche Data Apps arbeiten nahtlos zusammen und können im Handumdrehen hinzugefügt oder entfernt werden. Basierend auf Kubernetes läuft die Plattform überall – im eigenen Datencenter oder in der Cloud.

Erstelle einzigartige und unternehmensweite Datenarchitekturen. Die Plattform unterstützt z. B. moderne Data Warehouses, Data Lakes, Event Streaming, Machine Learning oder Data Meshes.

Operatoren der Plattform

Stackable Module sind reguläre Kubernetes-Operatoren. Aufgrund der ausgezeichneten Performance, des geringen Speicherbedarfs sowie der Speicher- und Thread-Sicherheit haben wir uns für die Programmiersprache Rust entschieden.

Der Stackable Operator für Apache Kafka ermöglicht das automatisierte Ausrollen und Verwalten von Apache Kafka in Kubernetes Clustern. Er unterstützt die Stackable Autorisierung und Überwachung.

Der Stackable Operator für Apache Druid verwaltet Apache Druid Cluster. Apache Druid ist eine Echtzeit-Datenbank zur Unterstützung moderner Analyseanwendungen.

Der Stackable Operator für Apache Spark ermöglicht, einen Spark Cluster auf Kubernetes zu steuern. Er bietet auch die Möglichkeit, Spark-Aufträge auf dem Cluster zu starten.

Der Stackable Operator für Apache Superset verwaltet Apache Superset, eine moderne Plattform zur Datenexploration und -visualisierung. Mit Stackable wird Superset für die Zusammenarbeit mit Trino und Apache Druid konfiguriert.

Der Stackable Operator für Trino bietet vorkonfigurierten Zugriff auf Apache HDFS oder einen beliebigen S3-kompatiblen Cloud-Speicher. Trino erlaubt föderierte Abfragen aus einer Vielzahl von Datenquellen.

Der Stackable Operator für Apache Airflow verwaltet Apache Airflow Cluster. Airflow ist eine Workflow Engine, die das programmatische Erstellen, Ausführen und Überwachen von Daten-Pipelines erlaubt und Dein Ersatz, wenn Du Apache Oozie verwendest.

Der Stackable Operator für Apache NiFi ermöglicht das automatisierte Ausrollen und Verwalten von Apache NiFi. NiFi unterstützt leistungsstarke und skalierbare Datenflüsse.

Der Stackable Operator für OPA (OpenPolicyAgent) verwaltet OPA-Server. Mit OPA können flexibel Regeln und Richtlinien für den Daten-Zugriff „as Code“ definiert werden.

Der Stackable Operator für Apche HBase verwaltet Apache HBase Cluster. HBase ist ein verteilter, skalierbarer Big-Data-Speicher.

Der Stackable Operator für Apache Hadoop HDFS verwaltet Apache HDFS-Cluster. HDFS ist ein verteiltes Dateisystem, das den Zugriff auf Daten mit hohem Durchsatz ermöglicht.

Der Stackable Operator für Apache Hive verwaltet Apache Hive. Derzeit unterstützt es den Hive Metastore. Die Data-Warehouse-Software Apache Hive erleichtert das Lesen, Schreiben und Verwalten großer Datensätze, die sich in einem verteilten Speicher befinden, mit SQL.

Der Stackable Operator für Apache ZooKeeper ermöglicht das automatisierte Ausrollen und Verwalten von Apache ZooKeeper-Ensembles. Apache Zookeeper wird von vielen Big-Data-Produkten als äußerst zuverlässiger Koordinator verteilter Systeme eingesetzt.

OPERATOREN DER PLATTFORM

Stackable Module sind reguläre Kubernetes-Operatoren. Aufgrund der ausgezeichneten Performance, des geringen Speicherbedarfs sowie der Speicher- und Thread-Sicherheit haben wir uns für die Programmiersprache Rust entschieden.

Der Stackable Operator für Apache Kafka ermöglicht das automatisierte Ausrollen und Verwalten von Apache Kafka in Kubernetes Clustern. Er unterstützt die Stackable Autorisierung und Überwachung.

Der Stackable Operator für Apache Druid verwaltet Apache Druid Cluster. Apache Druid ist eine Echtzeit-Datenbank zur Unterstützung moderner Analyseanwendungen.

Der Stackable Operator für Apache Spark ermöglicht, einen Spark Cluster auf Kubernetes zu steuern. Er bietet auch die Möglichkeit, Spark-Aufträge auf dem Cluster zu starten.

Der Stackable Operator für Apache Superset verwaltet Apache Superset, eine moderne Plattform zur Datenexploration und -visualisierung. Mit Stackable wird Superset für die Zusammenarbeit mit Trino und Apache Druid konfiguriert.

Der Stackable Operator für Trino bietet vorkonfigurierten Zugriff auf Apache HDFS oder einen beliebigen S3-kompatiblen Cloud-Speicher. Trino erlaubt föderierte Abfragen aus einer Vielzahl von Datenquellen.

Der Stackable Operator für Apache Airflow verwaltet Apache Airflow Cluster. Airflow ist eine Workflow Engine, die das programmatische Erstellen, Ausführen und Überwachen von Daten-Pipelines erlaubt und Dein Ersatz, wenn Du Apache Oozie verwendest.

Der Stackable Operator für Apache NiFi Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache NiFi. NiFi unterstützt leistungsstarke und skalierbare Datenflüsse.

Der Stackable Operator für OPA (OpenPolicyAgent) verwaltet OPA-Server. Mit OPA können flexibel Regeln und Richtlinien für den Daten-Zugriff „as Code“ definiert werden.

Der Stackable Operator für Apache HBase verwaltet Apache HBase Cluster. HBase ist ein verteilter, skalierbarer Big-Data-Speicher.

Der Stackable Operator für Apache Hadoop HDFS verwaltet Apache Hadoop HDFS-Cluster. HDFS ist ein verteiltes Dateisystem, das den Zugriff auf Daten mit hohem Durchsatz ermöglicht.

Der Stackable Operator für Apache Hive verwaltet Apache Hive. Derzeit unterstützt es den Hive Metastore. Die Data-Warehouse-Software Apache Hive erleichtert das Lesen, Schreiben und Verwalten großer Datensätze, die sich in einem verteilten Speicher befinden, mit SQL.

Der Stackable Operator für Apache ZooKeeper ermöglicht das automatisierte Ausrollen und Verwalten von Apache ZooKeeper-Ensembles. Apache Zookeeper wird von vielen Big-Data-Produkten als äußerst zuverlässiger Koordinator verteilter Systeme eingesetzt.

So geht's

Von einfachen bis zu komplexen Umgebungen mit Infrastructure as Code

Stackable bietet die Flexibilität, sowohl einfache als auch komplexe Datenszenarien zu definieren. Egal wie, die Einrichtung ist immer so einfach wie hier:

1. In Schritt eins wählst Du die Stackable-Operatoren für die Data Apps aus, die Du für Deine Datenplattform benötigst und installierst sie mit stackablectl oder direkt über Helm.

2. In Schritt zwei installierst Du Deine Data Apps im Kubernetes Cluster, indem Du die passenden Konfigurationen (CRDs) mit stackablectl oder direkt über kubectl an die Operatoren übergibst.

Alle diese Definitionen werden als Infrastructure as Code verwaltet, sodass auch die Einrichtung die Möglichkeit bietet, zu testen und zu wiederholen und so zu standardisieren.

Das Stackable Operator Framework ist eine Rust-Bibliothek, die die schnelle und einheitliche Entwicklung von Kubernetes Controllern und Operatoren unterstützt.

Das Stackable Docker Image Repository enthält Docker-Dateien und Skripte zur Erstellung von Basis-Images von Open-Source-Produkten, die von Stackable unterstützt werden und in der Plattform verwendet werden können.

Newsletter

Zum Newsletter anmelden

Mit dem Stackable Newsletter bist Du immer auf dem Laufenden, wenn es um Updates rund um Stackable geht!