Informationstheorie

Algorithmische Wahrscheinlichkeit quantifiziert die Wahrscheinlichkeit, dass eine Zeichenkette erscheint, basierend auf ihrer kürzesten Beschreibung.

Entropie ist ein Maß für Unsicherheit oder Unordnung in einem System, das häufig in der Thermodynamik und Informationstheorie verwendet wird.

Flux bezieht sich auf den Fluss oder Transfer von Energie, Materie oder Informationen in Physik und anderen Bereichen.

Die Hamming-Distanz misst den Unterschied zwischen zwei Strings gleicher Länge.

Der Informationsgewinn misst die Verringerung der Unsicherheit über eine Zufallsvariable bei zusätzlicher Information.

Informationstheorie untersucht die Quantifizierung, Speicherung und Kommunikation von Informationen.

Jensen-Shannon-Divergenz misst die Ähnlichkeit zwischen zwei Wahrscheinlichkeitsverteilungen.

Gemeinsene Entropie misst die Unsicherheit von zwei Zufallsvariablen zusammen.

JSDivergence misst die Ähnlichkeit zwischen zwei Wahrscheinlichkeitsverteilungen anhand eines symmetrischen Ansatzes.

K-L Divergenz misst, wie sehr eine Wahrscheinlichkeitsverteilung von einer zweiten, Referenzverteilung abweicht.

Maximum Entropy ist ein statistisches Prinzip, das verwendet wird, um Vorhersagen auf Basis begrenzter Informationen zu treffen.

Mutual Information misst die Menge an Informationen, die zwischen zwei Variablen geteilt werden.

Eine Methode zur Schätzung der Mutual Information mit neuronalen Netzwerken, die die Messung der Datenabhängigkeit verbessert.