トランスフォーマー

DeiTは、Transformerを用いた画像分類モデルで、「Data-efficient Image Transformers」の略です。

エンコーダ層は、入力データを処理して、ニューラルネットワークのさらなるタスクのために意味のある表現を作り出します。

位置符号化は、AIモデルがシーケンス内の単語の順序を理解するのに役立ちます。

Pre-LayerNormは、ニューラルネットワークの自己注意メカニズムの前に適用される正規化手法です。

ビジョントランスフォーマー（ViT）は、自己注意メカニズムを用いた画像処理用の深層学習モデルです。