项目衍生 · 部署前 · 已脱敏

智能体风险控制矩阵(项目衍生,已脱敏)

把 AI 智能体可能造成伤害的每一种方式,落实为一项明确命名的控制、一项证明该控制有效的测试、一个监测信号和一条审计证据记录。承诺一个智能体是安全的,和能拿出证据证明它安全,区别就在这里。

这份文档的用途

智能体登记册回答的是有哪些智能体、各由谁负责。这个矩阵回答接下来的问题:对智能体可能造成伤害的每一种方式,用什么控制来防止,这项控制怎样测试,证明它守住了的证据又在哪里。

需要它,是因为智能体 AI 的治理正在从自愿承诺(“我们会负责任地使用智能体”)转向制度化的控制:逐一命名的风险、明确界定的控制、部署前测试与持续测试、监测信号,以及审查者可以检查的审计轨迹。这份文档就是这一转变在项目层面的版本。每一行是一个风险,而不是一个智能体,因为同一个风险(例如未经人工批准就行动)适用于多个智能体。

它取自我正在 HKU-Avnet Joint AI Laboratory(港大与安富利的联合 AI 实验室)构建的面向病人的医疗数字孪生,出自它的治理包(v0.2)。它与同一治理包里的智能体登记册配套:登记册规定每个智能体的权限层级;这个矩阵规定这一层级所隐含的边界怎样执行、怎样留下证据。这份文档已脱敏,表中各行是一个示意性的部署前示例,用来演练这套结构。

固定元数据

字段 值
项目阶段 孵化 / 部署前
范围 面向病人的智能体流程中,逐个风险的控制:控制、控制类型、测试、监测信号、审计证据、负责人
审批负责人 AI 治理负责人
来源治理包版本 v0.2
最后更新 2026 年 8 月
已知局限 部署前示例:控制和测试用来演练这套结构;负责人只到角色层面,测试是部署前的;在任何外部试点之前,测试要实际运行,负责人要落实到具名个人

每一行怎么读

对每一个智能体风险,矩阵记录:一项控制(限制该风险的机制);一个控制类型(预防性、发现性或纠正性);一项测试(我们怎样检查这项控制确实有效,部署前要做,有变更时也要做);一个监测信号(如果控制正在失效,监测面板上会显示什么);一条审计证据记录(审查者可以检查什么);以及一位具名的负责人。

风险控制矩阵

智能体风险 控制 类型 测试 / 保证 监测信号 审计证据 负责人
未经必需的人工批准就行动 硬性审批关口:在一位具名人员批准这一次操作之前,操作无法执行 预防性 在未获批准时尝试执行操作,确认被拦截;每次提示词/模型变更后都重新测试 没有批准记录就被执行的操作(目标:零) 审批日志,含批准人、时间戳、操作标识 治理负责人
访问受保护健康信息(PHI)超出最小必要范围 限定范围、只读、按字段和用途限制的凭证 预防性 请求范围外的字段,确认被拒绝;每季度审查一次访问权限 越界访问尝试;实际读取的 PHI 字段与基线的对比 访问日志、凭证范围、季度审查记录 数据治理负责人
在获批系统之外保留病人记忆 记忆仅限会话内;强制执行保留期限;未经批准不得再用于训练 预防性 + 发现性 检查记忆存储中有无违反政策的保留;核实保留计时器能让记录按期失效 超出保留期限的记录 保留配置、记忆存储的审计导出 数据治理负责人
超出所声明的权限层级运行 在配置中强制执行层级;提升层级须先更新登记册并重新审查 预防性 尝试超出层级的操作,确认被拦截;把运行中的配置与登记册逐项比对 任何映射到所声明层级上限以上的操作 配置与登记册的差异比对、变更控制记录 治理负责人 + 工程负责人
出现严重安全触发条件后仍继续运行 达到既定触发条件即自动暂停;由指定角色掌握的手动紧急停止开关 纠正性 在预发布环境中触发一次测试条件;确认在目标时间内暂停;定期演练 从触发到暂停的时间;暂停失败的情况 事件日志、含计时的紧急停止开关演练记录 临床安全负责人 + IT 安全
不确定性高时仍产生面向病人的输出 不确定性阈值拦截输出,并转给人工复核 预防性 输入高不确定性的案例,确认被拦截或转交;校准阈值 高不确定性输出中被放行与被拦截的对比 阈值配置、被拦截输出日志、复核交接记录 医疗总监
从已获知情同意的用途越界到无关的推断 针对具体任务的护栏,把范围限定在已验证的领域 预防性 + 发现性 用偏离用途的提示词做红队测试;确认拒答;抽样检查输出有无范围漂移 超范围请求比例;被标记的跨域输出 护栏策略、红队测试报告、抽样审查记录 治理负责人
事后无法还原操作(没有审计轨迹) 每一次操作都强制记录输入、决策、批准和输出 发现性 核实每一类操作都会生成完整、篡改可察觉的日志条目 日志完整的操作所占比例(目标:100%) 日志完整性报告、一条端到端的操作追踪记录 IT 安全

关口设多严:为什么有些操作要拦下,有些只抽查

上面的矩阵说明了每项控制是什么。这一节回答审查者接下来会问的问题:如果智能体的每个操作都要人签字,这个系统就毫无用处;如果一个都不用,每一次出错的代价都会落在病人身上。那么,界线划在哪里?

起决定作用的,不是执行者是不是 AI,而是这个操作有多容易撤回。

操作类别 能撤回吗? 关口是什么样子
内部读取,或从不发出的草稿 能,它不改变系统之外的任何东西 事后抽样审查,不需要事先批准
预约排程草稿或非临床通知 短时间内能,在有人据此行动之前还可以更正 发出前须经批准;对明确界定的低风险类别,允许常设批准
面向病人的临床内容 不能,病人读过之后就撤不回了 逐次批准,输入、版本、不确定性和批准人全部记录在案
付款、数据离开系统、权限变更、写入病历 不能 由一位具名、对此负责的人逐次批准,或者直接禁止

由此得出两条规则。一个操作要过关口,是因为它没法低成本地撤销,所以每道关口的理由都可以记录下来,也可以被质疑。另外,能否撤回不清楚的操作,在证明可以撤回之前一律按不可撤回处理;这样拿不准时默认拦下,而不是默认放行。

设计原则

写下来却从没测试过的控制不是控制,只是一种希望。这个矩阵要有意义,每项控制都必须有:一项测试,部署前运行,发生实质性变更时重复运行;一个监测信号,让失效在监测面板上就能看见,而不是等到事件发生时才被发现;一条审计证据记录,审查者不必听信团队的说法就能检查。

这就是这份文档反映的转变:从承诺智能体会表现良好,到拿出证据证明它表现良好。自愿式的保证说的是“我们很谨慎”。制度化的控制说的是“关口在这里,证明关口守得住的测试在这里,盯着它的监测面板在这里,证明它在这一天守住了的日志也在这里”。

相关笔记:从承诺到证据:制度化的智能体治理真正要求的是什么。

引用信息
字段 值
标题 Agent Risk-Control Matrix (project-derived, sanitized)
作者 Xiaoyan Qian
公开页面版本 v0.2
发布日期 2026-08-03
固定网址 https://xiaoyanqian.com/artifacts/agent-risk-control-matrix/
许可 保留所有权利
建议引用格式 Qian, X. (2026). Agent Risk-Control Matrix (project-derived, sanitized) (v0.2). https://xiaoyanqian.com/artifacts/agent-risk-control-matrix/