情景推演治理案例

医疗流程中的智能体决策权

上市后决策状态: 有条件批准

问题

一家医院部署了一个医疗 AI 智能体:它读取病人病历、整理症状、调用风险模型、生成临床摘要,并建议下一步。开发团队希望它能自动创建随访任务、通知病人、更新病历的部分内容。决策权没有清楚界定,这个智能体就会从辅助工具滑向未经授权的临床决策者。

主要风险

治理机制

一张智能体决策权矩阵把每一个动作分成三类:

每一次工具调用都记录智能体身份、输入、所用工具、结果、批准人和时间戳。

智能体 允许 须经批准 禁止 最终负责人
数据检索智能体 读取已授权的数据 跨系统检索 读取未授权的数据 数据负责人
状态估计智能体 生成风险估计 对外展示结果 出具正式诊断 临床负责人
解释智能体 起草解释 发送给病人 声称确定的结局 医务总监

RACI

执行(R):AI 产品负责人、临床流程负责人。负责(A):临床/医务总监。咨询(C):临床医生、护士、IT 安全、法务、数据保护官。知情(I):医院管理层、病人、供应商、相关委员会。

审计证据

智能体权限登记册、工具访问配置、决策权矩阵、人工批准记录、动作与工具调用日志、病历变更历史、模型与提示词版本、事件与推翻报告。

启示

人在回路不能只是一句口号。可执行的治理要写清楚:哪个动作,在哪个环节,由哪一位具名的人批准;没有批准时,系统如何停下。智能体越自主,权限设计和可审计性就必须越精细。