情景推演治理案例
临床部署中的医疗 AI 模型漂移
上市后决策状态: 有条件批准
问题
一个用于筛查高风险病人的医疗 AI 模型,在试点阶段表现良好。部署六个月后,临床数据分布发生偏移,灵敏度从 88% 降到 70%。每月漏诊病例从 2 例增至 5 例。临床团队起初没当回事,只当是“提醒没那么准了”。
主要风险
- 病人安全:假阴性增多,延误诊断和治疗。
- 临床问责:临床医生不知道该不该信任 AI,出事后的责任也不清楚。
- 模型治理:部署后既没有漂移监测阈值,也没有暂停机制。
- 信任:假阴性和误报不断增加,侵蚀临床医生的信任,直到系统被置之不理。
- 监管与审计:医院无法向管理层或监管机构证明自己在持续监督。
治理机制
- 部署后监测:每月跟踪灵敏度、特异度、阳性预测值、阴性预测值、假阴性数、警报量和亚组表现。
- 升级阈值:灵敏度低于 80%、漏诊病例超过基线的两倍,或出现显著的亚组退化,都会触发事件审查。
- 审查结论出来之前,模型降级为“仅供参考”、加上警示标签,或暂停高风险的自动警报。
- 由临床负责人和 AI 治理委员会共同决定:重新校准、重新训练、收窄范围,还是暂停使用。
- 所有版本更新、阈值突破和决定,都构成审计轨迹。
RACI
执行(R):数据科学/MLOps 团队(指标、漂移分析、版本记录)。负责(A):临床负责人和 AI 治理委员会。咨询(C):一线临床医生、护士、产品、法务、供应商。知情(I):医院管理层、受影响的科室,以及在需要时的监管机构或伦理委员会。
审计证据
每月性能看板、漂移报告、阈值突破日志、事件审查会议纪要、模型版本日志、临床签核记录、风险登记册更新、决策备忘录、用户沟通通知。
启示
医疗 AI 的可靠性不是一次性的准确率,而是部署之后,系统能否被持续监测、被正确地升级上报、有明确的负责人。模型漂移不是技术上的小麻烦;它是病人安全问题,也是机构的责任问题。