情報理論

アルゴリズム確率は、最短記述に基づいて文字列が出現する確率を定量化します。

エントロピーは、システム内の不確実性や無秩序さの尺度であり、熱力学や情報理論でよく使われます。

フラックスは、物理学やその他の分野において、エネルギー、物質、情報の流れや移動を指します。

ハミング距離は、同じ長さの2つの文字列の違いを測定します。

情報利得は、追加情報を得ることでランダム変数に関する不確実性の低減を測定します。

情報理論は、情報の定量化、保存、伝達を研究する分野です。

Jensen-Shannon Divergenceは、2つの確率分布間の類似性を測定します。

結合エントロピーは、2つの確率変数の不確実性を測定します。

JSDivergenceは、対称的なアプローチを用いて2つの確率分布間の類似性を測定します。

K-L Divergenceは、一つの確率分布が二つ目の基準分布とどの程度異なるかを測定します。

最大エントロピーは、限られた情報に基づいて予測を行うために使用される統計的原則です。

相互情報量は、2つの変数間で共有される情報の量を測定します。

ニューラルネットワークを用いた相互情報量推定法は、データの依存性測定を強化します。