Conjunto entropy is a concept from teoria da informação that quantifies the amount of uncertainty or information present in two random variables simultaneously. It extends the idea of entropy, which measures the uncertainty of a single random variable, to the distribuição conjunta de duas variáveis.
Matematicamente, a entropia conjunta H(X, Y) de duas variáveis aleatórias discretas X e Y é definida como:
H(X, Y) = – ∑ P(x, y) log(P(x, y))
onde P(x, y) é o distribuição de probabilidade conjunta of X and Y, and the summation is over all possible pairs of values (x, y) that the random variables can take. The logarithm can be taken in any base, but base 2 is commonly used, resulting in measurements in bits.
A entropia conjunta fornece insights sobre a relação entre as duas variáveis. Por exemplo, se X e Y são independentes, a entropia conjunta pode ser expressa como a soma das entropias individuais:
H(X, Y) = H(X) + H(Y)
Quando X e Y são completamente dependentes (ou seja, uma variável pode ser prevista perfeitamente a partir da outra), a entropia conjunta será igual à entropia de qualquer uma das variáveis:
H(X, Y) = H(X) = H(Y)
In practical applications, joint entropy can be used in various fields, including aprendizado de máquina, data compression, and cryptography, to assess the amount of information shared between two variables or to analyze the complexity of joint distributions.