Erkunde 5 KI-Begriffe in Transformers
DeiT steht für Data-efficient Image Transformers, ein Modell, das für die Bildklassifikation mit Transformern entwickelt wurde.
Eine Encoder-Schicht verarbeitet Eingabedaten, um eine bedeutungsvolle Repräsentation für weitere Aufgaben in neuronalen Netzwerken zu erstellen.
Die positionale Kodierung hilft KI-Modellen, die Reihenfolge der Wörter in einer Sequenz zu verstehen.
Pre-LayerNorm ist eine Normalisierungstechnik, die vor dem Selbstaufmerksamkeitsmechanismus in neuronalen Netzwerken angewendet wird.
Ein Vision Transformer (ViT) ist ein Deep-Learning-Modell, das für die Bildverarbeitung unter Verwendung von Selbstaufmerksamkeitsmechanismen entwickelt wurde.