Traitement de texte

La détokenisation est le processus de conversion des tokens en texte en langage naturel.

SentencePiece est un outil de tokenisation de texte et de segmentation en sous-mots utilisé en traitement automatique du langage naturel.