Régularisation L2
L2 Régularisation, also known as Ridge Regularization, is a method utilisé en apprentissage automatique and statistics to prevent overfitting of models. Overfitting occurs when a model learns the noise in the données d'entraînement plutôt que le motif sous-jacent, ce qui conduit à de mauvaises performances sur des données non vues.
Dans la régularisation L2, un terme de pénalité est ajouté à la fonction de perte, which is the function used to measure how well the model’s predictions match the actual outcomes. Specifically, the penalty is proportional to the square of the magnitude of the coefficients (weights) of the model. This means that larger weights contribute more to the penalty, effectively discouraging the model from fitting the training data too closely.
Le terme de régularisation L2 s'exprime mathématiquement comme suit :
Penalty = λ * Σ(w_i²)
où :
λ(lambda) is the regularization parameter that controls the strength of the penalty.w_irepresents each weight dans le modèle.
By adjusting the value of λ, practitioners can find a balance between fitting the training data well and keeping the model simple, which enhances its ability to generalize to nouvelles données.
Dans l'ensemble, la régularisation L2 aide à amélioration de la performance du modèle en réduisant le risque de surapprentissage, conduisant à des prédictions plus robustes.