Gemeinsamer entropy is a concept from Informationstheorie that quantifies the amount of uncertainty or information present in two random variables simultaneously. It extends the idea of entropy, which measures the uncertainty of a single random variable, to the gemeinsame Verteilung zweier Variablen.
Mathematisch ist die gemeinsame Entropie H(X, Y) zweier diskreter Zufallsvariablen X und Y definiert als:
H(X, Y) = – ∑ P(x, y) log(P(x, y))
wobei P(x, y) die ist Gemeinsame Wahrscheinlichkeitsverteilung of X and Y, and the summation is over all possible pairs of values (x, y) that the random variables can take. The logarithm can be taken in any base, but base 2 is commonly used, resulting in measurements in bits.
Die gemeinsame Entropie liefert Einblicke in die Beziehung zwischen den beiden Variablen. Zum Beispiel, wenn X und Y unabhängig sind, kann die gemeinsame Entropie als Summe der einzelnen Entropien ausgedrückt werden:
H(X, Y) = H(X) + H(Y)
Wenn X und Y vollständig abhängig sind (d.h., eine Variable kann aus der anderen perfekt vorhergesagt werden), ist die gemeinsame Entropie gleich der Entropie einer der Variablen:
H(X, Y) = H(X) = H(Y)
In practical applications, joint entropy can be used in various fields, including maschinellem Lernen, data compression, and cryptography, to assess the amount of information shared between two variables or to analyze the complexity of joint distributions.