Transformateurs

DeiT signifie Data-efficient Image Transformers, un modèle conçu pour la classification d'images utilisant des transformers.

Une couche d'encodage traite les données d'entrée pour créer une représentation significative pour des tâches ultérieures dans les réseaux neuronaux.

L'encodage positionnel aide les modèles d'IA à comprendre l'ordre des mots dans une séquence.

Pre-LayerNorm est une technique de normalisation appliquée avant le mécanisme d'attention automatique dans les réseaux neuronaux.

Un Transformer Vision (ViT) est un modèle d'apprentissage profond conçu pour le traitement d'images en utilisant des mécanismes d'attention automatique.