Transformadores

DeiT significa Data-efficient Image Transformers, un modelo diseñado para la clasificación de imágenes usando transformadores.

Una Capa de Codificador procesa los datos de entrada para crear una representación significativa para tareas posteriores en redes neuronales.

La Codificación Posicional ayuda a los modelos de IA a entender el orden de las palabras en una secuencia.

Pre-LayerNorm es una técnica de normalización aplicada antes del mecanismo de autoatención en redes neuronales.

Un Transformer de Visión (ViT) es un modelo de aprendizaje profundo diseñado para el procesamiento de imágenes usando mecanismos de autoatención.