データエンジニアリング

Airflowは、ワークフローをプログラム的に作成、スケジュール、監視するためのオープンソースプラットフォームです。

DAGワークフローは、タスクを有向非巡回グラフ構造で整理したプロセスモデルです。

Dagsterは、データパイプラインの構築と監視のためのオープンソースのデータオーケストレーターです。

データエンジニアリングは、データの収集、保存、分析のためのシステムを設計・構築することを含みます。

データパイプラインは、データをあるシステムから別のシステムへ移動・変換する一連のプロセスです。

Delta Lakeは、データレイクに信頼性とパフォーマンスをもたらすオープンソースのストレージ層です。

Flyteは、データワークフローと機械学習パイプラインの構築と管理のためのオープンソースプラットフォームです。

LakeFSは、Gitのような機能を備えたデータレイク管理のためのオープンソースのデータバージョニングツールです。

Tectonは、大規模な機械学習の特徴量管理と運用を行うプラットフォームです。