Im Kontext von maschinellem Lernen and künstliche Intelligenz, logits refer to the Ausgabeschicht of a neuronales Netzwerk before any Aktivierungsfunktion, such as softmax or sigmoid, is applied. These raw scores represent the model’s confidence for each class in classification tasks. The term is commonly used in the field of deep learning, particularly in Mehrklassenklassifikation Probleme.
Wenn ein neuronales Netzwerk Eingabedaten verarbeitet, erzeugt es eine Reihe von Logits, die als unbeschränkte reellwertige Scores betrachtet werden können. Zum Beispiel könnte das Netzwerk bei einer Klassifizierungsaufgabe mit drei Klassen Logits wie [2.0, -1.5, 0.5] ausgeben. Diese Werte stellen keine Wahrscheinlichkeiten dar; sie können positiv oder negativ sein, und es besteht keine inhärente Beziehung zwischen ihnen.
To convert these logits into probabilities that sum to one—making them interpretable as the likelihood of each class occurring—we typically apply the softmax function. The softmax function exponentiates each logit and normalizes the results to produce a probability distribution. In our example, applying softmax to the logits [2.0, -1.5, 0.5] will yield a set of probabilities that indicates how confident the model is about each class.
Logits are essential for understanding how a model makes predictions, as they provide insight into the decision-making process of the network. By analyzing the logits, researchers and practitioners can better diagnose model behavior, tune hyperparameters, and improve Gesamtleistung.