Stackable

Plattform

Die Open-Source-Datenplattform

Kombination von best practices

Beliebte Data Apps, einfach zu verwenden

Stackable bietet Dir eine abgestimmte Auswahl der besten Open Source Data Apps wie Kafka, Druid, Trino oder Spark. Speichere, verarbeite und visualisiere Deine Daten mit den neuesten Versionen. Bleibe auf der Höhe der Zeit, nicht hinter ihr.

Sämtliche Data Apps arbeiten nahtlos zusammen und können im Handumdrehen hinzugefügt oder entfernt werden. Basierend auf Kubernetes läuft die Plattform überall – im eigenen Datencenter oder in der Cloud.

Erstelle einzigartige und unternehmensweite Datenarchitekturen. Die Plattform unterstützt z. B. moderne Data Warehouses, Data Lakes, Event Streaming, Machine Learning oder Data Meshes.

Operatoren der Plattform

Stackable Module sind reguläre Kubernetes-Operatoren. Aufgrund der ausgezeichneten Performance, des geringen Speicherbedarfs sowie der Speicher- und Thread-Sicherheit haben wir uns für die Programmiersprache Rust entschieden.

Der Stackable Kafka Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache Kafka in Kubernetes Clustern. Er unterstützt die Stackable Autorisierung und Überwachung.

Der Stackable Druid Operator für Kubernetes verwaltet Apache Druid Cluster. Apache Druid ist eine Echtzeit-Datenbank zur Unterstützung moderner Analyseanwendungen.

Der Spark Operator ermöglicht, einen Spark Cluster auf Kubernetes im Standalone-Modus auszurollen. Er bietet auch die Möglichkeit, Spark-Aufträge auf dem Cluster zu starten.

Der Stackable Apache Superset Operator verwaltet Apache Superset, eine moderne Plattform zur Datenexploration und -visualisierung. Mit Stackable wird Superset für die Zusammenarbeit mit Trino und Apache Druid konfiguriert.

Der Stackable Trino Operator bietet vorkonfigurierten Zugriff auf HDFS oder einen beliebigen S3-kompatiblen Cloud-Speicher. Trino erlaubt föderierte Abfragen aus einer Vielzahl von Datenquellen.

Der Stackable Airflow Operator verwaltet Apache Airflow Cluster. Airflow ist eine Workflow Engine, die das programmatische Erstellen, Ausführen und Überwachen von Daten-Pipelines erlaubt und Dein Ersatz, wenn Du Apache Oozie verwendest.

Der Stackable Nifi Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache Nifi. Nifi unterstützt leistungsstarke und skalierbare Datenflüsse.

Der Stackable OPA (OpenPolicyAgent) Operator verwaltet OPA-Server. Mit OPA können flexibel Regeln und Richtlinien für den Daten-Zugriff „as Code“ definiert werden.

Der Stackable Hbase Operator verwaltet Apache HBase Cluster. HBase ist ein verteilter, skalierbarer Big-Data-Speicher.

Der Stackable HDFS Operator verwaltet Apache HDFS-Cluster. HDFS ist ein verteiltes Dateisystem, das den Zugriff auf Daten mit hohem Durchsatz ermöglicht.

Der Stackable Hive Operator verwaltet Apache Hive. Derzeit unterstützt es den Hive Metastore. Die Data-Warehouse-Software Apache Hive erleichtert das Lesen, Schreiben und Verwalten großer Datensätze, die sich in einem verteilten Speicher befinden, mit SQL.

Der Stackable ZooKeeper Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache ZooKeeper-Ensembles. Apache Zookeeper wird von vielen Big-Data-Produkten als äußerst zuverlässiger Koordinator verteilter Systeme eingesetzt.

OPERATOREN DER PLATTFORM

Stackable Module sind reguläre Kubernetes-Operatoren. Aufgrund der ausgezeichneten Performance, des geringen Speicherbedarfs sowie der Speicher- und Thread-Sicherheit haben wir uns für die Programmiersprache Rust entschieden.

Der Stackable Kafka Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache Kafka in Kubernetes Clustern. Er unterstützt die Stackable Autorisierung und Überwachung.

Der Stackable Druid Operator für Kubernetes verwaltet Apache Druid Cluster. Apache Druid ist eine Echtzeit-Datenbank zur Unterstützung moderner Analyseanwendungen.

Der Spark Operator ermöglicht, einen Spark Cluster auf Kubernetes im Standalone-Modus auszurollen. Er bietet auch die Möglichkeit, Spark-Aufträge auf dem Cluster zu starten.

Der Stackable Apache Superset Operator verwaltet Apache Superset, eine moderne Plattform zur Datenexploration und -visualisierung. Mit Stackable wird Superset für die Zusammenarbeit mit Trino und Apache Druid konfiguriert.

Der Stackable Trino Operator bietet vorkonfigurierten Zugriff auf HDFS oder einen beliebigen S3-kompatiblen Cloud-Speicher. Trino erlaubt föderierte Abfragen aus einer Vielzahl von Datenquellen.

Der Stackable Airflow Operator verwaltet Apache Airflow Cluster. Airflow ist eine Workflow Engine, die das programmatische Erstellen, Ausführen und Überwachen von Daten-Pipelines erlaubt und Dein Ersatz, wenn Du Apache Oozie verwendest.

Der Stackable Nifi Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache Nifi. Nifi unterstützt leistungsstarke und skalierbare Datenflüsse.

Der Stackable OPA (OpenPolicyAgent) Operator verwaltet OPA-Server. Mit OPA können flexibel Regeln und Richtlinien für den Daten-Zugriff „as Code“ definiert werden.

Der Stackable Hbase Operator verwaltet Apache HBase Cluster. HBase ist ein verteilter, skalierbarer Big-Data-Speicher.

Der Stackable HDFS Operator verwaltet Apache HDFS-Cluster. HDFS ist ein verteiltes Dateisystem, das den Zugriff auf Daten mit hohem Durchsatz ermöglicht.

Der Stackable Hive Operator verwaltet Apache Hive. Derzeit unterstützt es den Hive Metastore. Die Data-Warehouse-Software Apache Hive erleichtert das Lesen, Schreiben und Verwalten großer Datensätze, die sich in einem verteilten Speicher befinden, mit SQL.

Der Stackable ZooKeeper Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache ZooKeeper-Ensembles. Apache Zookeeper wird von vielen Big-Data-Produkten als äußerst zuverlässiger Koordinator verteilter Systeme eingesetzt.

So geht's

Von einfachen bis zu komplexen Umgebungen mit Infrastructure as Code

Stackable bietet die Flexibilität, sowohl einfache als auch komplexe Datenszenarien zu definieren. Egal wie, die Einrichtung ist immer so einfach wie hier:

1. In Schritt eins wählst Du die Stackable-Operatoren für die Data Apps aus, die Du für Deine Datenplattform benötigst und installierst sie mit stackablectl oder direkt über Helm.

2. In Schritt zwei installierst Du Deine Data Apps im Kubernetes Cluster, indem Du die passenden Konfigurationen (CRDs) mit stackablectl oder direkt über kubectl an die Operatoren übergibst.

Alle diese Definitionen werden als Infrastructure as Code verwaltet, sodass auch die Einrichtung die Möglichkeit bietet, zu testen und zu wiederholen und so zu standardisieren.

Der Stackable Operator Framework ist eine Rust-Bibliothek, die die schnelle und einheitliche Entwicklung von Kubernetes Controllern und Operatoren unterstützt.

Das Stackable Docker Image Repository enthält Docker-Dateien und Skripte zur Erstellung von Basis-Images von Open-Source-Produkten, die von Stackable unterstützt werden und in der Plattform verwendet werden können.

Newsletter

Zum Newsletter anmelden

Mit dem Stackable Newsletter bist Du immer auf dem Laufenden, wenn es um Updates rund um Stackable geht!

Copy link
Powered by Social Snap