Teoria da Informação

Probabilidade algorítmica quantifica a probabilidade de uma string aparecer com base em sua descrição mais curta.

Entropia é uma medida de incerteza ou desordem em um sistema, frequentemente usada na termodinâmica e na teoria da informação.

Fluxo refere-se ao fluxo ou transferência de energia, matéria ou informação na física e em outros campos.

A Distância de Hamming mede a diferença entre duas strings de comprimento igual.

Ganho de Informação mede a redução na incerteza sobre uma variável aleatória dada informação adicional.

A Teoria da Informação estuda a quantificação, armazenamento e comunicação de informações.

Divergência de Jensen-Shannon mede a similaridade entre duas distribuições de probabilidade.

Entropia conjunta mede a incerteza de duas variáveis aleatórias juntas.

A JSDivergence mede a similaridade entre duas distribuições de probabilidade usando uma abordagem simétrica.

Divergência K-L mede o quanto uma distribuição de probabilidade difere de uma segunda distribuição de referência.

Entropia Máxima é um princípio estatístico usado para fazer previsões com base em informações limitadas.

Informação Mútua mede a quantidade de informação compartilhada entre duas variáveis.

Um método para estimar a informação mútua usando redes neurais, aprimorando a medição da dependência de dados.