Datenengineering

Airflow ist eine Open-Source-Plattform zum programmatischen Erstellen, Planen und Überwachen von Workflows.

Ein DAG-Workflow ist ein Prozessmodell, das Aufgaben in einer gerichteten azyklischen Graphstruktur organisiert.

Dagster ist ein Open-Source-Datenorchestrator zum Erstellen und Überwachen von Datenpipelines.

Data Engineering umfasst das Entwerfen und Erstellen von Systemen zum Sammeln, Speichern und Analysieren von Daten.

Eine Datenpipeline ist eine Reihe von Prozessen, die Daten von einem System zum anderen bewegen und transformieren.

Delta Lake ist eine Open-Source-Speicherschicht, die Zuverlässigkeit und Leistung für Data Lakes bringt.

Flyte ist eine Open-Source-Plattform zum Erstellen und Verwalten von Daten-Workflows und Machine-Learning-Pipelines.

LakeFS ist ein Open-Source-Tool zur Datenversionierung, das die Verwaltung von Data Lakes mit Git-ähnlichen Funktionen ermöglicht.

Tecton ist eine Plattform zur Verwaltung und Operationalisierung von maschinellen Lernmerkmalen in großem Maßstab.