共同 entropy is a concept from 情報理論 that quantifies the amount of uncertainty or information present in two random variables simultaneously. It extends the idea of entropy, which measures the uncertainty of a single random variable, to the 結合分布 2つの変数の
数学的には、2つの離散確率変数XとYの結合エントロピーH(X, Y)は次のように定義されます：
H(X, Y) = – ∑ P(x, y) log(P(x, y))
P(x, y)は 結合確率分布から of X and Y, and the summation is over all possible pairs of values (x, y) that the random variables can take. The logarithm can be taken in any base, but base 2 is commonly used, resulting in measurements in bits.
結合エントロピーは、2つの変数間の関係性についての洞察を提供します。例えば、XとYが独立している場合、結合エントロピーは個々のエントロピーの和として表されます：
H(X, Y) = H(X) + H(Y)
XとYが完全に依存している場合（すなわち、一方の変数からもう一方を完全に予測できる場合）、結合エントロピーはどちらか一方の変数のエントロピーに等しくなります：
H(X, Y) = H(X) = H(Y)
In practical applications, joint entropy can be used in various fields, including 機械学習, data compression, and cryptography, to assess the amount of information shared between two variables or to analyze the complexity of joint distributions.