TransformersのAI用語を5つ探る
DeiTは、Transformerを用いた画像分類モデルで、「Data-efficient Image Transformers」の略です。
エンコーダ層は、入力データを処理して、ニューラルネットワークのさらなるタスクのために意味のある表現を作り出します。
位置符号化は、AIモデルがシーケンス内の単語の順序を理解するのに役立ちます。
Pre-LayerNormは、ニューラルネットワークの自己注意メカニズムの前に適用される正規化手法です。
ビジョントランスフォーマー(ViT)は、自己注意メカニズムを用いた画像処理用の深層学習モデルです。