项目衍生治理案例 · 已脱敏
模型变更控制与预定变更控制计划(PCCP)
上市后决策状态: 有条件批准
问题
一个面向病人的医疗数字孪生依赖一个模型,这个模型会定期重新训练或更新,由内部团队或供应商完成。新版本提高了总体准确率,于是被部署。可是“平均更好”并不等于“对这个人群安全”:这次更新悄悄改变了校准,改变了亚组表现,或改变了病人所依赖的解释风格。由于这次变更被当作例行的软件更新,而不是受治理的临床变更,它上线时没有经过临床重新签核,没有在本地人群上再验证,也没有记录改了什么、为什么改。几周后问题浮现时,没有人能还原什么时候用的是哪个版本。
治理上的缺口是没有变更控制,也就是事先决定哪些变更已预先授权、哪些需要再验证、哪些需要完整临床重新批准的那套纪律。
主要风险
- 病人安全:一次更新拉高了平均水平,却让某个亚组的表现变差。
- 问责:没有记录某个输出出自哪个版本,事件调查就会受阻。
- 监管与审计:对 AI 医疗器械软件(AI-SaMD)而言,未经管理的变更可能落在授权条件之外;PCCP 界定的是预先授权的变更范围。
- 信任:悄无声息的行为变化会侵蚀临床医生的信心。
治理机制
预定变更控制计划事先给变更分级,并把每一级与必须采取的动作绑定。每个已部署的版本都带有版本标识、变更日志和验证记录。任何版本都要先通过与其级别相应的关口,才能到达病人。
| 变更级别 | 审查负责人 | 触发阈值 | 必须采取的动作 | 用户告知 |
|---|---|---|---|---|
| 轻微(在预先授权的范围内) | AI 产品负责人 | 在 PCCP 界定的界限之内 | 记录、监测,无需重新批准 | 无需告知 |
| 中等(影响校准/亚组) | 临床安全负责人 | 任何预计的亚组或校准偏移 | 部署前在本地再验证 | 通过发布说明告知临床医生;只有已披露的局限发生变化时才告知病人 |
| 重大(预期用途、范围或架构) | 医务总监 + 监管事务 | 对范围或预期用途的任何改变 | 完整的临床重新批准;监管审查 | 变更到达病人之前,更新面向临床医生和病人的披露,并重新取得确认 |
无可部署版本警报(回滚不安全时)
常规的变更控制默认总有一个安全的版本可以回滚。自适应的医疗 AI 有一种更难应对的失效状态:线上版本正在退化,候选版本又没达到部署门槛,往前往后都不安全。这种状态必须被单独发现、单独命名,不能作为“部署”和“回滚”之间一个隐含的空档放着不管。
因此,系统事先规定好,在没有任何模型版本可以部署时,如何回退到纯人工流程:这是一个持续监测的独立警报状态,与批准/有条件批准/临床复核/拒绝这几种决策状态分开。
| 字段 | 记录内容 |
|---|---|
| 当前版本安全吗? | 线上版本是否仍在经验证的性能与校准范围之内?(是/正在退化/否) |
| 候选版本可部署吗? | 拟接替的版本是否已达到部署门槛(本地再验证、亚组、校准、签核)?(是/尚未/否) |
| 回退流程 | 两个版本都不安全时启用的、预先定义的纯人工临床路径(谁来手工完成任务、有什么支持、能承担多大工作量) |
| 临床负责人 | 负责启动和运行回退流程的具名临床医生(默认不是 IT) |
| 警报状态 | 正常/观察/无可部署版本;最后一种状态会触发回退流程和强制性的临床复核 |
治理规则:如果当前版本安全吗?= 否且候选版本可部署吗?= 否,系统不会在一个正在退化的模型上“失效即放行”(fail open),而是转入预先定义的回退流程,由具名的临床负责人负责;AI 辅助功能暂停,直到有版本通过它的关口。
退役(一个独立的终止状态,不是延长的暂停)
变更控制管的是用一个版本替换另一个版本。它本身并不决定一个组件什么时候该退役,也就是从面向病人的路径上永久撤下,而不只是暂停、等待修复。退役必须明确触发,不能任由它以无限期的“观察”或“无可部署版本”状态拖下去。
| 退役触发条件 | 含义 | 必须采取的动作 |
|---|---|---|
| 持续漂移 | 经过多轮重新校准,漂移仍反复出现,无法稳定在经验证的范围之内 | 让该组件退役;除非经过重新设计(只重新校准不算),不在下一轮中再次批准 |
| 依赖失去支持 | 它所依赖的模型、库或供应商组件已被弃用、未打补丁或已停止支持 | 在停止支持之日退役;不在面向病人的路径上运行失去支持的组件 |
| 用途改变 | 经验证的预期用途已不再符合组件在实际中的使用方式 | 从已改变的用途上退役;任何后继版本覆盖新用途之前,都须先作出扩大范围的决策 |
| 有更安全的替代方案 | 一个经过验证的替代方案,被证明能在同一预期用途下降低风险 | 替代方案通过部署关口后,让现役组件退役;两个版本并行运行不超过规定的过渡期 |
已退役组件的控制条目在总控制登记册中转为已退役状态,而不是直接删除;同时记录触发条件、退役日期,以及接替它的回退方案或替代方案。
RACI
执行(R):AI 产品负责人。负责(A):临床安全负责人(重大变更由医务总监负责)。咨询(C):监管事务、供应商、AI/数据科学团队。知情(I):负责诊治的临床医生。
审计证据
PCCP 文件;版本标识与变更日志;本地再验证报告;按变更级别分列的签核记录;供应商的变更通知。
决策状态
有条件批准。只有在 PCCP 切实执行的前提下,才批准继续使用。超出预先授权范围的更新,在到达病人之前需要再验证或重新批准。悄悄部署未经分级的变更,构成拒绝条件。
启示
受治理的临床变更与悄无声息的软件更新,区别就在于变更控制。变更控制只有在两个条件下才是真的:每一次变更都带有级别、具名的审查负责人、再验证触发条件和保留下来的版本轨迹;系统对最难的那种状态有预先定好的答案,即没有任何版本可以安全运行时,病人会怎样。