2026 年 7 月 19 日
今天可靠,明年不可靠
验证是一张快照,部署却是一个移动的靶子。医疗 AI 可以在上线时通过每一项检查,几个月后仍然变得不可靠;不是因为它当时错了,而是因为用来衡量它的那个世界已经变了。
这就是漂移。随着人口老化,或者某种新的疾病增多,病人构成会发生变化。医院换了一台扫描仪,改了接诊流程,或者调整了诊疗路径。病案编码的习惯会变。疾病的患病率随季节起伏。模型学到的是过去的分布;现在已经往前走了,模型却不会跟着变,除非有人让它变。
漂移危险,恰恰因为它无声无息。表现不会轰然失灵,而是一点点被侵蚀。即使模型内部一点没动,预测值也会随着患病率变化而下滑。等到临床医生察觉“最近的警报好像有点不对”,病人可能已经受到了影响。
所以,医疗 AI 的可靠性不是上线时一次确立就完事的属性,而是要持续维护的属性。治理把“我们验证过了”变成一项长期承诺:持续监测输入和输出,设定会触发复核的阈值,并指定一个人,在阈值被越过时,这个人既有责任也有权力采取行动。
治理要问的问题是:
- 上线后我们要监测什么,多久一次,以什么为基线?
- 什么样的变化会触发复核?这个触发条件由谁负责?
- 表现发生漂移时,谁有权重新校准、限制使用或暂停这个系统?
部署不是验证的终点,而是持续验证开始的时刻。