Transformadores

DeiT significa Data-efficient Image Transformers, um modelo projetado para classificação de imagens usando transformers.

Uma Camada de Codificador processa os dados de entrada para criar uma representação significativa para tarefas futuras em redes neurais.

A Codificação Posicional ajuda os modelos de IA a entenderem a ordem das palavras em uma sequência.

Pre-LayerNorm é uma técnica de normalização aplicada antes do mecanismo de autoatenção em redes neurais.

Um Transformador de Visão (ViT) é um modelo de aprendizado profundo projetado para processamento de imagens usando mecanismos de autoatenção.