Théorie de l'information
Explorez 13 termes de l'IA en Théorie de l'Information
Probabilité algorithmique
APLa probabilité algorithmique quantifie la probabilité qu'une chaîne apparaisse en fonction de sa description la plus courte.
Entropie
L'entropie est une mesure d'incertitude ou de désordre dans un système, souvent utilisée en thermodynamique et en théorie de l'information.
Flux
Le flux fait référence au flux ou au transfert d'énergie, de matière ou d'information en physique et dans d'autres domaines.
Distance de Hamming
HDLa Distance de Hamming mesure la différence entre deux chaînes de caractères de longueur égale.
Gain d'information
GILe gain d'information mesure la réduction de l'incertitude concernant une variable aléatoire donnée des informations supplémentaires.
Théorie de l'information
InformatiqueLa Théorie de l'Information étudie la quantification, le stockage et la communication de l'information.
Divergence de Jensen-Shannon
JSDLa divergence de Jensen-Shannon mesure la similarité entre deux distributions de probabilité.
Entropie conjointe
L'entropie conjointe mesure l'incertitude de deux variables aléatoires ensemble.
Divergence JSDivergence
JSDLa mesure de divergence JSDivergence évalue la similarité entre deux distributions de probabilité en utilisant une approche symétrique.
Divergence K-L
KLDLa divergence K-L mesure la différence entre une distribution de probabilité et une seconde distribution de référence.
Entropie maximale
MaxEntL'entropie maximale est un principe statistique utilisé pour faire des prédictions à partir d'informations limitées.
Information mutuelle
IML'information mutuelle mesure la quantité d'information partagée entre deux variables.
Estimation neuronale de l'information mutuelle
MINEUne méthode pour estimer l'information mutuelle en utilisant des réseaux neuronaux, améliorant la mesure de dépendance des données.