Compression de modèle

La perte de distillation de connaissance est une technique pour transférer des connaissances d'un grand modèle à un modèle plus petit afin d'améliorer les performances.