Perplexité
Dans le contexte de traitement du langage naturel and modèles de langage, perplexity is a metric that quantifies how well a probability model predicts a sample. It essentially measures the model’s uncertainty when predicting the next word in a sequence. A lower perplexity indicates that the model is more confident and accurate in its predictions, while a higher perplexity suggests greater uncertainty and poorer performance.
Perplexity is mathematically defined as the exponentiation of the entropy of the probability distribution generated by the model. Specifically, if a de langage predicts a sequence of words, the perplexity (PP) can be calculated using the formula:
PP = 2^(-1/N * Σ(log2(P(w_i))))
où N est le nombre de mots dans la séquence et P(w_i) est la probabilité prédite de chaque mot dans cette séquence. La sommation est effectuée sur tous les mots de la séquence. Cette formule montre que la perplexité est liée à la vraisemblance des mots prédits ; ainsi, un modèle qui prédit des mots avec des probabilités plus élevées donnera une perplexité plus faible.
Perplexity serves as a useful benchmark when comparing different language models or tuning hyperparameters. While it provides a quantitative measure of performance du modèle, it is essential to interpret it in the context of the specific application and dataset, as different tasks may have varying acceptable perplexity levels.