2026 年 7 月 19 日
可靠性不等于准确性:一个筛查数字藏住了什么
设想一个癌症筛查模型,在 1,000 人身上测试。其中 100 人患病,900 人没有。模型把 100 个真病例中的 90 个标为阳性,也把 180 个健康人标为阳性。它的灵敏度是 90%。放在幻灯片上,这个数字就能把系统卖出去。
现在把同一个结果当作部署决策来读。在模型判为阳性的所有人里,270 人中只有 90 人真的患病。它的阳性预测值是 33%。每三个被告知“你的筛查结果是阳性”的人里,就有两个是健康的,而每个人都会带着这个警报,走进更多的检查、更多的花费和更多的焦虑。准确率这个亮眼的数字,和人们对这个系统的切身体验,指向相反的方向。
这就是为什么可靠性不等于准确性。准确性问的是:模型是不是经常对。可靠性问的是一组更难的问题:它在哪里出错,错在谁身上,每一种错误的代价是什么,以及谁要为这个答案负责。一个模型可以在总体上准确,却对老年病人、对女性,或者对扫描仪、病例构成与训练集不同的医院并不可靠。合并计算的准确率,恰恰藏起了最要紧的那些失败。
可靠性也不是一个固定不变的属性。上线时可靠的模型,可能随着病人群体、设备或疾病患病率的变化而漂移。即使模型本身没变,预测值也会随患病率变化。没有部署后监测,这种漂移会一直隐形,直到有病人受到伤害。
所以,治理要问的不是“它准不准”,而是:
- 错误分布是什么样的,而不只是平均水平?灵敏度、特异度和预测值,要按亚组报告,而不是合并计算。
- 每一种错误的代价由谁承担?承担代价的,和从使用中获利的,是不是同一方?
- 什么阈值会触发复核,这个阈值由谁负责,越过之后会发生什么?
这些问题,没有一个能靠单一的准确率数字回答。回答它们,靠的是证据、责任归属和监测计划。一个得分漂亮的模型,和一个可以托付病人的系统,区别就在这里。