Erwartet Kalibrierung Fehler (ECE) is a metric used to evaluate the calibration of probabilistische Vorhersagen hergestellt durch maschinelles Lernen models. Calibration refers to the agreement between predicted probabilities and actual outcomes. In simpler terms, if a model predicts a certain event with a probability of 70%, we would expect that event to occur approximately 70% of the time over a large number of predictions.
ECE quantifies this calibration by comparing the predicted probabilities of a model to the actual frequencies of the events. It is calculated by dividing the probability space into bins and measuring the average difference between the predicted probabilities and the observed outcomes across these bins. A lower ECE indicates better calibration, meaning the model’s predictions are more reliable and trustworthy.
Um den ECE zu berechnen, folgen Sie diesen Schritten:
- Gruppieren Sie Vorhersagen basierend auf ihren vorhergesagten Wahrscheinlichkeitswerten in Bereiche.
- Für jeden Bereich wird die accuracy (der Anteil korrekter Vorhersagen) und die durchschnittliche vorhergesagte Wahrscheinlichkeit berechnet.
- Berechnen Sie die absolute Differenz zwischen den vorhergesagten Wahrscheinlichkeiten und den tatsächlichen Genauigkeiten für jeden Bereich.
- Durchschnittlich diese Differenzen über alle Bereiche, um den ECE zu erhalten.
For practical applications, ECE can be particularly important in fields such as healthcare, finance, and autonomen Systemen verwendet wird, where decision-making relies heavily on the reliability of probability estimates. A well-calibrated model helps stakeholders trust the predictions, leading to better decision-making and risk management.