Engenharia de Dados

Airflow é uma plataforma de código aberto para criar, agendar e monitorar fluxos de trabalho de forma programática.

Um Workflow DAG é um modelo de processo que organiza tarefas em uma estrutura de grafo acíclico dirigido.

Dagster é um orquestrador de dados de código aberto para construir e monitorar pipelines de dados.

Engenharia de Dados envolve projetar e construir sistemas para coletar, armazenar e analisar dados.

Um pipeline de dados é uma série de processos que movem e transformam dados de um sistema para outro.

Delta Lake é uma camada de armazenamento de código aberto que traz confiabilidade e desempenho aos lagos de dados.

Flyte é uma plataforma de código aberto para construir e gerenciar fluxos de trabalho de dados e pipelines de aprendizado de máquina.

LakeFS é uma ferramenta de versionamento de dados de código aberto para gerenciar data lakes com capacidades semelhantes ao Git.

Tecton é uma plataforma para gerenciar e operacionalizar recursos de machine learning em grande escala.