2026 年 7 月 23 日
从承诺到证据:制度化的智能体治理真正要求的是什么
智能体的治理方式正在发生一个安静但重要的变化。早期的说法是自愿性的:各机构承诺会“负责任地”(responsibly)使用智能体。现在的方向,从各国 AI 安全机构把测试协议和操作指南正式确立下来的方式就看得出来,是走向制度化的控制:逐一命名的风险、界定清楚的控制、部署前测试和持续测试、受监测的信号,以及审查者可以检查的审计轨迹。问题不再是“你承诺会小心吗?”,而是“给我看证明这一点的测试,和证明它守住了的日志”。
我不打算用这篇笔记来总结政策趋势。更有用、也更难的,是展示当你真的想在一个系统上落实这个趋势时,它是什么样子。所以这篇笔记围绕一个工具展开:我为自己正在开发的面向病人的医疗数字孪生构建的智能体风险控制矩阵。
为什么光有登记册不够。 在同一个治理包里,我维护着一份智能体登记册,列出每一个智能体、它的负责人、它的受保护健康信息(PHI)边界和它的权限等级。它回答的是存在什么和谁负责。审计人员或安全监管机构真正会问的问题,它回答不了:针对这一项具体风险,控制在哪里,你又怎么知道它有效?登记册是一份名册。制度化的治理需要的是证明。
让它管用的一步:按风险组织,而不是按智能体组织。 这个矩阵每一行是一项风险,而不是一个智能体,因为同一项风险(未经人工批准就行动、超出范围访问 PHI、保留不该保留的记忆、安全触发之后仍继续运行)会在许多智能体身上反复出现。对每一项风险,它记录五样东西:
- 控制(限制这项风险的机制);
- 控制类型(预防性、检测性或纠正性);
- 测试(部署前怎样检查这项控制,以及每次模型、提示词、工具或 PHI 范围变更时怎样重新检查);
- 受监测的信号(控制正在失效时仪表盘上会显示什么,让失效在事件发生之前就被看见,而不是在事件当中);
- 审计证据记录(审查者不必听信团队一面之词就能检查的日志或文档)。
最后这一栏就是全部要点所在。“面向病人的操作,我们都要求人工批准”是一个承诺。“这是审批关口;这是部署前测试,它显示未经批准的操作会被拦下;这是仪表盘上会标记绕过行为的指标;这是审批日志,记有审批人、时间戳和操作编号”是证据。这个矩阵,就是把第一句话变成第二句话的结构。
这和我这周早些时候写的东西是连着的。 在之前一篇笔记里,我谈模型与云依赖,底层的那一步是一样的:一个你希望它安全的依赖,只有在有了具名负责人和书面的回退方案之后,才算受到治理。在这里,一个你承诺它安全的智能体,只有在每一项风险都有测试和证据轨迹之后,才算受到治理。两者是同一个转变说了两遍:从承诺到证据。医疗 AI 治理要去的方向,与其说是哪一项具体法规,不如说是这个。能应付它的机构,是那些能交给审查者的不是一纸承诺,而是一道关口、一项测试、一个仪表盘和一份日志的机构。