Conjunto entropy is a concept from teoría de la información that quantifies the amount of uncertainty or information present in two random variables simultaneously. It extends the idea of entropy, which measures the uncertainty of a single random variable, to the distribución conjunta de dos variables.
Matemáticamente, la entropía conjunta H(X, Y) de dos variables aleatorias discretas X y Y se define como:
H(X, Y) = – ∑ P(x, y) log(P(x, y))
donde P(x, y) es el distribución de probabilidad conjunta of X and Y, and the summation is over all possible pairs of values (x, y) that the random variables can take. The logarithm can be taken in any base, but base 2 is commonly used, resulting in measurements in bits.
La entropía conjunta proporciona información sobre la relación entre las dos variables. Por ejemplo, si X y Y son independientes, la entropía conjunta puede expresarse como la suma de las entropías individuales:
H(X, Y) = H(X) + H(Y)
Cuando X y Y son completamente dependientes (es decir, una variable puede predecirse perfectamente a partir de la otra), la entropía conjunta será igual a la entropía de cualquiera de las variables:
H(X, Y) = H(X) = H(Y)
In practical applications, joint entropy can be used in various fields, including aprendizaje automático, data compression, and cryptography, to assess the amount of information shared between two variables or to analyze the complexity of joint distributions.