Conjoint entropy is a concept from théorie de l'information that quantifies the amount of uncertainty or information present in two random variables simultaneously. It extends the idea of entropy, which measures the uncertainty of a single random variable, to the distribution conjointe de deux variables.
Mathématiquement, l'entropie conjointe H(X, Y) de deux variables aléatoires discrètes X et Y est définie comme :
H(X, Y) = – ∑ P(x, y) log(P(x, y))
où P(x, y) est le distribution de probabilité conjointe of X and Y, and the summation is over all possible pairs of values (x, y) that the random variables can take. The logarithm can be taken in any base, but base 2 is commonly used, resulting in measurements in bits.
L'entropie conjointe fournit des insights sur la relation entre les deux variables. Par exemple, si X et Y sont indépendantes, l'entropie conjointe peut être exprimée comme la somme des entropies individuelles :
H(X, Y) = H(X) + H(Y)
Lorsque X et Y sont complètement dépendantes (c'est-à-dire qu'une variable peut être parfaitement prédite à partir de l'autre), l'entropie conjointe sera égale à l'entropie de l'une ou l'autre variable :
H(X, Y) = H(X) = H(Y)
In practical applications, joint entropy can be used in various fields, including apprentissage automatique, data compression, and cryptography, to assess the amount of information shared between two variables or to analyze the complexity of joint distributions.