Divergence K-L, or Divergence de Kullback-Leibler, is a statistical method used to measure the difference between two distributions de probabilité. Specifically, it quantifies how much one probability distribution diverges from a second, expected probability distribution. In practical terms, K-L Divergence is used in various fields such as apprentissage automatique, théorie de l'information, and statistics.
La divergence de K-L entre deux distributions de probabilité P et Q est définie mathématiquement comme :
DKL(P || Q) = Σ P(x) log(P(x) / Q(x))
Ici, P représente la distribution de probabilité réelle des données, tandis que Q représente la distribution approximative avec laquelle nous comparons. La sommation (Σ) est effectuée sur tous les résultats possibles x. Si P et Q sont des distributions continues, la sommation est remplacée par une intégrale.
Quelques points clés concernant la divergence de K-L :
- La divergence de K-L est toujours non négative, ce qui signifie DKL(P || Q) ≥ 0. Une valeur de zero indique que les deux distributions sont identiques.
- Elle n'est pas symétrique : DKL(P || Q) ≠ DKL(Q || P). This means that the order of distributions matters when calculating the divergence.
- K-L Divergence is particularly useful in applications such as model selection, anomaly detection, and traitement du langage naturel.
In summary, K-L Divergence serves as a powerful tool for understanding how different distributions relate to one another, making it essentiel pour l'analyse de données et évaluation de modèles.