情景推演治理案例
医疗流程中的智能体决策权
上市后决策状态: 有条件批准
问题
一家医院部署了一个医疗 AI 智能体:它读取病人病历、整理症状、调用风险模型、生成临床摘要,并建议下一步。开发团队希望它能自动创建随访任务、通知病人、更新病历的部分内容。决策权没有清楚界定,这个智能体就会从辅助工具滑向未经授权的临床决策者。
主要风险
- 智能体未经临床医生确认就修改临床记录。
- 错误或不完整的信息被自动发送给病人。
- 调用的工具或数据超出授权范围。
- 智能体之间的调用链让责任轨迹变得模糊。
- 临床医生只看到最终输出,无法还原智能体做过哪些动作。
治理机制
一张智能体决策权矩阵把每一个动作分成三类:
- 自主执行:检索已授权的数据、整理信息、生成草稿。
- 须经人工批准:更新正式病历、向病人发送个性化的医疗信息、创建临床随访。
- 禁止:作出诊断、修改处方、取消治疗、在最终决策中取代临床医生。
每一次工具调用都记录智能体身份、输入、所用工具、结果、批准人和时间戳。
| 智能体 | 允许 | 须经批准 | 禁止 | 最终负责人 |
|---|---|---|---|---|
| 数据检索智能体 | 读取已授权的数据 | 跨系统检索 | 读取未授权的数据 | 数据负责人 |
| 状态估计智能体 | 生成风险估计 | 对外展示结果 | 出具正式诊断 | 临床负责人 |
| 解释智能体 | 起草解释 | 发送给病人 | 声称确定的结局 | 医务总监 |
RACI
执行(R):AI 产品负责人、临床流程负责人。负责(A):临床/医务总监。咨询(C):临床医生、护士、IT 安全、法务、数据保护官。知情(I):医院管理层、病人、供应商、相关委员会。
审计证据
智能体权限登记册、工具访问配置、决策权矩阵、人工批准记录、动作与工具调用日志、病历变更历史、模型与提示词版本、事件与推翻报告。
启示
人在回路不能只是一句口号。可执行的治理要写清楚:哪个动作,在哪个环节,由哪一位具名的人批准;没有批准时,系统如何停下。智能体越自主,权限设计和可审计性就必须越精细。