Transformer

DeiT steht für Data-efficient Image Transformers, ein Modell, das für die Bildklassifikation mit Transformern entwickelt wurde.

Eine Encoder-Schicht verarbeitet Eingabedaten, um eine bedeutungsvolle Repräsentation für weitere Aufgaben in neuronalen Netzwerken zu erstellen.

Die positionale Kodierung hilft KI-Modellen, die Reihenfolge der Wörter in einer Sequenz zu verstehen.

Pre-LayerNorm ist eine Normalisierungstechnik, die vor dem Selbstaufmerksamkeitsmechanismus in neuronalen Netzwerken angewendet wird.

Ein Vision Transformer (ViT) ist ein Deep-Learning-Modell, das für die Bildverarbeitung unter Verwendung von Selbstaufmerksamkeitsmechanismen entwickelt wurde.