Kalibrierungsdiagramm
A calibration plot, also known as a reliability diagram, is a graphical representation used to evaluate how well the predicted probabilities from a statistical model align with the actual outcomes. This is particularly important in fields like maschinellem Lernen and statistics, where models often provide probabilistische Vorhersagen.
In einem typischen Kalibrierungsdiagramm stellt die x-Achse die vorhergesagten Wahrscheinlichkeiten dar (oft in Intervalle eingeteilt), während die y-Achse die tatsächlich beobachteten Häufigkeiten der Ergebnisse zeigt. Wenn ein Modell beispielsweise eine 70%ige Chance für das Eintreten eines Ereignisses vorhersagt, zeigt das Kalibrierungsdiagramm, wie oft dieses Ereignis tatsächlich eintritt, wenn das Modell eine solche Vorhersage macht.
A perfectly calibrated model would result in a calibration plot where the predicted probabilities match the actual outcomes, forming a 45-degree diagonal line (often referred to as the ‘calibration line’). If the plot falls above this line, it indicates that the model is under-confident (predicting lower probabilities than observed). Conversely, if it falls below, the model is over-confident (predicting higher probabilities than observed).
Kalibrierungsdiagramme sind entscheidend für die Bewertung von Modellen in binären Klassifikationsaufgaben, such as in healthcare for predicting disease presence or in finance for Kreditbewertung. By visually inspecting the calibration plot, practitioners can make informed decisions about model adjustments, threshold settings, and overall reliability of the predictions.