カッパ係数(しばしばκと表記される)は、項目を分類する際に二人以上の評価者や観察者間の一致度を評価する統計的指標です。単純なパーセンテージ一致と異なり、誤解を招く可能性があるため、カッパは偶然の一致の可能性も考慮します。
カッパの値は-1から1までの範囲で、次のように示されます。
- 1の値は、評価者間の完全な一致を示します。
- 0の値は、偶然以上の一致がないことを示します。
- 負の値は、偶然よりも少ない一致を示し、体系的な不一致を意味します。
カッパは特に有用な分野は medicine, psychology, and 社会科学 where subjective judgments are common. For instance, if two doctors are diagnosing a patient based on the same set of symptoms, Kappa can help quantify how similarly they agree on the diagnosis.
カッパを計算するには、観測された一致(評価者が一致した回数の割合)を、期待される一致(偶然に一致する回数の割合)と比較します。カッパの計算式は次の通りです:
κ = (P_o – P_e) / (1 – P_e)
ここで:
- P_o = 観測された一致
- P_e = 期待される一致
要約すると、カッパ係数は、研究者や実務者が評価者間の信頼性を定量化するための貴重なツールであり、カテゴリー判断の一貫性についての洞察を提供します。