项目衍生 · 部署前 · 已脱敏
智能体风险控制矩阵(项目衍生,已脱敏)
把 AI 智能体可能造成伤害的每一种方式,落实为一项明确命名的控制、一项证明该控制有效的测试、一个监测信号和一条审计证据记录。承诺一个智能体是安全的,和能拿出证据证明它安全,区别就在这里。
这份文档的用途
智能体登记册回答的是有哪些智能体、各由谁负责。这个矩阵回答接下来的问题:对智能体可能造成伤害的每一种方式,用什么控制来防止,这项控制怎样测试,证明它守住了的证据又在哪里。
需要它,是因为智能体 AI 的治理正在从自愿承诺(“我们会负责任地使用智能体”)转向制度化的控制:逐一命名的风险、明确界定的控制、部署前测试与持续测试、监测信号,以及审查者可以检查的审计轨迹。这份文档就是这一转变在项目层面的版本。每一行是一个风险,而不是一个智能体,因为同一个风险(例如未经人工批准就行动)适用于多个智能体。
它取自我正在 HKU-Avnet Joint AI Laboratory(港大与安富利的联合 AI 实验室)构建的面向病人的医疗数字孪生,出自它的治理包(v0.2)。它与同一治理包里的智能体登记册配套:登记册规定每个智能体的权限层级;这个矩阵规定这一层级所隐含的边界怎样执行、怎样留下证据。这份文档已脱敏,表中各行是一个示意性的部署前示例,用来演练这套结构。
固定元数据
| 字段 | 值 |
|---|---|
| 项目阶段 | 孵化 / 部署前 |
| 范围 | 面向病人的智能体流程中,逐个风险的控制:控制、控制类型、测试、监测信号、审计证据、负责人 |
| 审批负责人 | AI 治理负责人 |
| 来源治理包版本 | v0.2 |
| 最后更新 | 2026 年 8 月 |
| 已知局限 | 部署前示例:控制和测试用来演练这套结构;负责人只到角色层面,测试是部署前的;在任何外部试点之前,测试要实际运行,负责人要落实到具名个人 |
每一行怎么读
对每一个智能体风险,矩阵记录:一项控制(限制该风险的机制);一个控制类型(预防性、发现性或纠正性);一项测试(我们怎样检查这项控制确实有效,部署前要做,有变更时也要做);一个监测信号(如果控制正在失效,监测面板上会显示什么);一条审计证据记录(审查者可以检查什么);以及一位具名的负责人。
风险控制矩阵
| 智能体风险 | 控制 | 类型 | 测试 / 保证 | 监测信号 | 审计证据 | 负责人 |
|---|---|---|---|---|---|---|
| 未经必需的人工批准就行动 | 硬性审批关口:在一位具名人员批准这一次操作之前,操作无法执行 | 预防性 | 在未获批准时尝试执行操作,确认被拦截;每次提示词/模型变更后都重新测试 | 没有批准记录就被执行的操作(目标:零) | 审批日志,含批准人、时间戳、操作标识 | 治理负责人 |
| 访问受保护健康信息(PHI)超出最小必要范围 | 限定范围、只读、按字段和用途限制的凭证 | 预防性 | 请求范围外的字段,确认被拒绝;每季度审查一次访问权限 | 越界访问尝试;实际读取的 PHI 字段与基线的对比 | 访问日志、凭证范围、季度审查记录 | 数据治理负责人 |
| 在获批系统之外保留病人记忆 | 记忆仅限会话内;强制执行保留期限;未经批准不得再用于训练 | 预防性 + 发现性 | 检查记忆存储中有无违反政策的保留;核实保留计时器能让记录按期失效 | 超出保留期限的记录 | 保留配置、记忆存储的审计导出 | 数据治理负责人 |
| 超出所声明的权限层级运行 | 在配置中强制执行层级;提升层级须先更新登记册并重新审查 | 预防性 | 尝试超出层级的操作,确认被拦截;把运行中的配置与登记册逐项比对 | 任何映射到所声明层级上限以上的操作 | 配置与登记册的差异比对、变更控制记录 | 治理负责人 + 工程负责人 |
| 出现严重安全触发条件后仍继续运行 | 达到既定触发条件即自动暂停;由指定角色掌握的手动紧急停止开关 | 纠正性 | 在预发布环境中触发一次测试条件;确认在目标时间内暂停;定期演练 | 从触发到暂停的时间;暂停失败的情况 | 事件日志、含计时的紧急停止开关演练记录 | 临床安全负责人 + IT 安全 |
| 不确定性高时仍产生面向病人的输出 | 不确定性阈值拦截输出,并转给人工复核 | 预防性 | 输入高不确定性的案例,确认被拦截或转交;校准阈值 | 高不确定性输出中被放行与被拦截的对比 | 阈值配置、被拦截输出日志、复核交接记录 | 医疗总监 |
| 从已获知情同意的用途越界到无关的推断 | 针对具体任务的护栏,把范围限定在已验证的领域 | 预防性 + 发现性 | 用偏离用途的提示词做红队测试;确认拒答;抽样检查输出有无范围漂移 | 超范围请求比例;被标记的跨域输出 | 护栏策略、红队测试报告、抽样审查记录 | 治理负责人 |
| 事后无法还原操作(没有审计轨迹) | 每一次操作都强制记录输入、决策、批准和输出 | 发现性 | 核实每一类操作都会生成完整、篡改可察觉的日志条目 | 日志完整的操作所占比例(目标:100%) | 日志完整性报告、一条端到端的操作追踪记录 | IT 安全 |
关口设多严:为什么有些操作要拦下,有些只抽查
上面的矩阵说明了每项控制是什么。这一节回答审查者接下来会问的问题:如果智能体的每个操作都要人签字,这个系统就毫无用处;如果一个都不用,每一次出错的代价都会落在病人身上。那么,界线划在哪里?
起决定作用的,不是执行者是不是 AI,而是这个操作有多容易撤回。
| 操作类别 | 能撤回吗? | 关口是什么样子 |
|---|---|---|
| 内部读取,或从不发出的草稿 | 能,它不改变系统之外的任何东西 | 事后抽样审查,不需要事先批准 |
| 预约排程草稿或非临床通知 | 短时间内能,在有人据此行动之前还可以更正 | 发出前须经批准;对明确界定的低风险类别,允许常设批准 |
| 面向病人的临床内容 | 不能,病人读过之后就撤不回了 | 逐次批准,输入、版本、不确定性和批准人全部记录在案 |
| 付款、数据离开系统、权限变更、写入病历 | 不能 | 由一位具名、对此负责的人逐次批准,或者直接禁止 |
由此得出两条规则。一个操作要过关口,是因为它没法低成本地撤销,所以每道关口的理由都可以记录下来,也可以被质疑。另外,能否撤回不清楚的操作,在证明可以撤回之前一律按不可撤回处理;这样拿不准时默认拦下,而不是默认放行。
设计原则
写下来却从没测试过的控制不是控制,只是一种希望。这个矩阵要有意义,每项控制都必须有:一项测试,部署前运行,发生实质性变更时重复运行;一个监测信号,让失效在监测面板上就能看见,而不是等到事件发生时才被发现;一条审计证据记录,审查者不必听信团队的说法就能检查。
这就是这份文档反映的转变:从承诺智能体会表现良好,到拿出证据证明它表现良好。自愿式的保证说的是“我们很谨慎”。制度化的控制说的是“关口在这里,证明关口守得住的测试在这里,盯着它的监测面板在这里,证明它在这一天守住了的日志也在这里”。
相关笔记:从承诺到证据:制度化的智能体治理真正要求的是什么。
引用信息
| 字段 | 值 |
|---|---|
| 标题 | Agent Risk-Control Matrix (project-derived, sanitized) |
| 作者 | Xiaoyan Qian |
| 公开页面版本 | v0.2 |
| 发布日期 | 2026-08-03 |
| 固定网址 | https://xiaoyanqian.com/artifacts/agent-risk-control-matrix/ |
| 许可 | 保留所有权利 |
| 建议引用格式 | Qian, X. (2026). Agent Risk-Control Matrix (project-derived, sanitized) (v0.2). https://xiaoyanqian.com/artifacts/agent-risk-control-matrix/ |