2026 年 7 月 19 日
“80% 风险”不等于 80% 的概率
医疗 AI 说某个病人的风险是 80%,人们很自然会这样理解:100 个类似的病人里,大约有 80 个会发生该事件。但一个模型可以很擅长把病人从低风险排到高风险,却把自己显示的实际概率弄错。排序和校准不是一回事。
最常被引用的指标是 AUC,它衡量的是排序:风险较高的病人,得分是否高于风险较低的病人。至于“80%”是不是真的代表 80%,AUC 什么也没说。一个模型可以 AUC 很高,同时系统性地过于自信或不够自信,比如给真实事件发生率只有 50% 或 30% 的一组病人显示 80%。
这一点很要紧,因为人是按数字行动的,不是按排序。临床医生决定要不要升级处理,病人决定要不要担心,阈值决定要不要发出警报,都把这个概率当成真的。如果它没有校准好,下游的每一个决定都会继承这份失真。
所以,校准本身就是一项治理要求,和区分度是两回事。支持部署的主张,不仅要证明模型排序排得好,还要证明它的概率与实际观察到的情况相符,而且这一点在亚组内部也成立,不只是整体成立。患病率一变,校准就会漂移,所以校准必须持续监测,不能只查一次。
要问的问题:
- 有没有证据表明模型校准良好,还是只有证据表明它的 AUC 不错?
- 校准在亚组内部是否成立,还是只在总体上成立?
- 部署之后,随着人群变化,校准要怎样监测?
风险评分是对概率的一个承诺。治理的作用,是让这个承诺成真,或者在它成真之前,不许它显示出来。