Teoría de la Información

La probabilidad algorítmica cuantifica la probabilidad de que aparezca una cadena basada en su descripción más corta.

La entropía es una medida de incertidumbre o desorden en un sistema, a menudo utilizada en termodinámica y teoría de la información.

Flux se refiere al flujo o transferencia de energía, materia o información en física y otros campos.

La distancia de Hamming mide la diferencia entre dos cadenas de igual longitud.

La Ganancia de Información mide la reducción de incertidumbre sobre una variable aleatoria dada información adicional.

La Teoría de la Información estudia la cuantificación, almacenamiento y comunicación de la información.

La Divergencia de Jensen-Shannon mide la similitud entre dos distribuciones de probabilidad.

La entropía conjunta mide la incertidumbre de dos variables aleatorias juntas.

La Divergencia JSD mide la similitud entre dos distribuciones de probabilidad usando un enfoque simétrico.

La divergencia K-L mide cuánto difiere una distribución de probabilidad de una segunda distribución de referencia.

La entropía máxima es un principio estadístico utilizado para hacer predicciones basadas en información limitada.

La información mutua mide la cantidad de información compartida entre dos variables.

Un método para estimar la información mutua usando redes neuronales, mejorando la medición de dependencia de datos.