テキスト処理におけるAI用語を2つ探る
デトークナイゼーションは、トークンを自然言語のテキストに戻すプロセスです。
SentencePieceは、自然言語処理で使用されるテキストのトークナイゼーションとサブワードのセグメンテーションツールです。
