Dans le contexte de apprentissage automatique and intelligence artificielle, logits refer to the couche de sortie of a réseau neuronal before any fonction d'activation, such as softmax or sigmoid, is applied. These raw scores represent the model’s confidence for each class in classification tasks. The term is commonly used in the field of deep learning, particularly in classification multi-classes problèmes.
Lorsqu'un réseau de neurones traite des données d'entrée, il produit un ensemble de logits que l'on peut considérer comme des scores réels non limités. Par exemple, dans une tâche de classification avec trois classes, le réseau pourrait produire des logits comme [2.0, -1.5, 0.5]. Ces valeurs ne représentent pas des probabilités ; elles peuvent être positives ou négatives, et il n'y a pas de relation inhérente entre elles.
To convert these logits into probabilities that sum to one—making them interpretable as the likelihood of each class occurring—we typically apply the softmax function. The softmax function exponentiates each logit and normalizes the results to produce a probability distribution. In our example, applying softmax to the logits [2.0, -1.5, 0.5] will yield a set of probabilities that indicates how confident the model is about each class.
Logits are essential for understanding how a model makes predictions, as they provide insight into the decision-making process of the network. By analyzing the logits, researchers and practitioners can better diagnose model behavior, tune hyperparameters, and improve performance globale.