ROC曲線(ROC解析)とAUC、そしてNRIとIDI
ROC曲線で予測モデルや、検査の有用性を検討しますよね？
新しい検査が、従来のものと比較してどれだけ有用かが重視されますが
AUC(area under the curve)を確認します。
1以下の値になるわけですが、なんとなく、0.7以上、もしくは0.8以上はあってほしいと思われると思います。
ただ、さらに有用性の検討をするには、これまでの検査やモデルとの比較を行うためには、従来はAUCの差の検定を行なっていたわけです。
ここで、有意差が出た場合には、新しい検査を追加すれば、精度が上昇したと記載可能でした。ちょっと前まではね。
最近ではそこにNRI(net reclassification improvement)とIDI（integrated discrimination improvement）がでてきます。
これは、AUCがその検査の診断精度や予測精度として正確ではないと言われ始めたからです。そのかわりがNRIとIDIなんですね。
さきに書くと、NRIとIDIはP値が0.05未満で有意差があるとなり、その検査を追加したほうが検査、モデルの精度が増すと考えられます。
以下の論文に詳細が載っています。参考までに
さらに、NRIとIDIにも批判があります
つまり、検出感度などのみではなく、診断には重みがある。見落とす重みと、over diagnosisの重みが等しくはないとのことからです。
そこでdecision curve analysis (DCA)が提唱されました。
以下論文になります
Vickers AJ, Pepe M. Does the net reclassification improvement help us evaluate models and markers? Ann Intern Med. 2014;160(2):136–7.
それぞれについては後日詳細を記載しますが、まずは、概要を。
