2026 年 7 月 19 日
在一家医院管用,不等于模型管用
医疗 AI 报告表现出色时,那个数字几乎总是来自同一个地方:开发和测试它所用的数据。那些数据是一个样本。模型将要部署进去的世界,却不是。
一个主要用大医院数据、特定扫描设备和特定病人构成训练出来的模型,在那个小世界里可以显得非常出色,而一遇到社区诊所、不同的设备、不同的人群或不同的患病率,就可能立刻变差。它的准确率是真的,但只是局部的。
所以,外部验证(用模型从没见过的数据来测试,数据来自与它实际运行场景相似的环境)是一项治理要求,而不是锦上添花。内部表现回答的是“它和自己学过的数据吻合吗?”外部表现回答的是部署真正关心的问题:“换一个新地方,它还站得住吗?”
选择偏倚让问题更糟,也更隐蔽。如果某个群体、某种设备或某家机构在训练数据里的代表性系统性地不足,模型在那里的弱点就不会体现在合并计算的数字里。它会在之后出现:出现在临床上,出现在最无力承受这个错误的病人身上。
所以,部署前治理要问的,不只是“它有多准”,还有:
- 它在哪里验证过?那里和它将要使用的地方有多相似?
- 训练数据里,哪些人群、机构或设备的代表性不足?
- 在把本地病人托付给这个模型之前,打算怎样做本地验证?
模型想在某个地方部署,得先在相似的地方接受测试,才算挣到这个资格。在那之前,一个好分数只是关于样本的证据,不是关于世界的证据。