情景推演治理案例

临床 AI 的人工推翻与审计日志

上市后决策状态: 有条件批准

问题

一家医院部署了一个临床 AI,用来标记高风险病人、辅助排定优先次序。系统名义上包含人在回路的复核,但临床医生只看得到 AI 的结论,看不到模型输入、置信度分数、版本历史、触发规则,也看不到过往的推翻记录。一旦出了问题,根本无法分辨失误出在 AI、临床医生、流程,还是一条从未被设计过的责任边界上。

主要风险

治理机制

一套人工推翻与审计日志规程:

  1. 每一个 AI 输出都显示模型版本、输入时间戳、置信度或不确定性、主要触发因素和建议动作。
  2. 每一次推翻都记录一个原因代码(数据缺失、与临床情境不符、病人意愿、输出不安全)。
  3. 高风险的推翻需要二次复核或临床安全审查。
  4. 定期分析推翻模式,区分模型问题、流程问题和培训问题。
  5. 审计日志做到篡改可察觉,并与事件响应 SOP 关联。

RACI

执行(R):临床流程负责人、AI 产品负责人、医院 IT。负责(A):临床/医务总监。咨询(C):临床医生、护理负责人、法务与合规、数据保护官、供应商。知情(I):质量与安全委员会、医院管理层,以及发生严重事件时的监管机构。

审计证据

AI 输出日志、模型版本历史、推翻记录与原因代码、临床复核记录、用户访问日志、事件升级记录、每月推翻分析、变更审批记录、临床医生培训记录。

启示

推翻日志不是为了惩罚临床医生,而是让机构看清 AI 在哪里不可靠。好的临床 AI 治理同时保护三方:病人得到安全,临床医生得到真正的判断依据,机构得到一条可审计的证据链。