Ingénierie des données

Airflow est une plateforme open-source pour créer, planifier et surveiller des flux de travail de manière programmatique.

Un workflow DAG est un modèle de processus qui organise les tâches dans une structure de graphe acyclique dirigé.

Dagster est un orchestrateur de données open-source pour la création et la surveillance de pipelines de données.

L'ingénierie des données consiste à concevoir et à construire des systèmes pour collecter, stocker et analyser des données.

Un pipeline de données est une série de processus qui déplacent et transforment des données d'un système à un autre.

Delta Lake est une couche de stockage open-source qui apporte fiabilité et performance aux lacs de données.

Flyte est une plateforme open-source pour la création et la gestion de flux de travail de données et de pipelines d'apprentissage automatique.

LakeFS est un outil de gestion de versions de données open-source pour la gestion des lacs de données avec des capacités similaires à Git.

Tecton est une plateforme pour gérer et opérationnaliser les fonctionnalités d'apprentissage automatique à grande échelle.