2026 年 8 月 7 日
当部署方握有公权力,自我认证就不够了:从临床一侧读经合组织的 AI 事件监测器
经合组织(OECD)运营着一个 AI Incidents and Hazards Monitor,记录已报告的 AI 伤害,并把每一条按行业分类;政府、安全与国防这个类别反复出现,而不是待在边缘。这个监测器近期的公共部门条目很具体:一个市政府用 AI 生成的宣传材料用错了国家象征,在引起公众不信任之后不得不撤回;一波 AI 生成的法律建议,因为工具缺乏社会法方面的专业知识而站不住脚,以大量无理的诉求加重了一个国家社会法院的负担。这些不是前沿模型的末日案例。它们是普通的公共行政用上了 AI,却在一个治理问题上弄错了。
放在一国政府的尺度上读,这是公共行政与监督的问题。从我实际工作的地方,也就是面向病人的临床 AI 来读,它让一件我在自己的实践里必须保持诚实的事变得更尖锐:谁有资格认证一个系统的控制有效,以及这种自我认证什么时候就不再够用。
为什么这会落到我自己的实践上,而且让我不太舒服。 在我构建并治理的临床 AI 里,我常常既是构建者,又承担着很大一部分问责。经过验证的范围由我决定,拒答和升级(转交医生处理)的规则由我写,说明控制守住了的证据也离我很近。这种角色集中,在我的场景里行得通,有一个具体原因:临床医生站在系统和病人之间,而病人在场、可识别,能够质疑、拒绝或要求升级处理。构建系统的人所做的自我认证,部分受到两样东西的制衡:一位对病人负有责任的人,以及病人本人就在现场。我那篇从承诺到证据的笔记已经论证过:只有当有一项测试显示控制有效、有一条记录显示它守住了,控制才算治理。我还没说过的,是这条记录必须说服谁。
公权力的情形,拿走了我一直悄悄依赖的那些制衡。 当 AI 被用来协助决定福利资格、执照、补助或执法行动时,承受决定的那个人通常不在场,没有同意,往往根本分辨不出 AI 参与过。常常也没有一个相当于临床医生的角色居中把关这项决定,并对他们负有责任。而部署系统的机关,同时也是认证其控制是否充分的那一方。我在临床场景里倚靠的每一项保障(在场的用户、居中把关的专业人员、照护责任)都不存在;剩下的唯一一道制衡,也就是部署方的自我认证,现在被要求扛起全部重量。经合组织的公共部门事件反复呈现的,正是这种局面:一个公共机构部署了一个 AI 工具,判定自己的控制已经足够,受影响的人直到出了问题才知道。设想一个福利机构用模型标记需要复核的申请,并在内部认证每一个不利标记都有经办人员核查。如果这道核查悄悄退化成橡皮图章,机构外面的人谁也看不到,直到被拒的申请人注意到某种模式;而到那时,伤害已经落在了那些从来不知道这个模型存在的人身上。这是根据这些事件所显示的机制构造的示例,不是已报告的案例。
什么可以迁移,以及公权力的情形添上的那条轴。 这门功夫可以干净地迁移:决定系统可以做什么,点名谁负责,在信任它之前要求有测试和记录。变的是这条记录必须让谁满意。在我的临床世界里,部署方可以承担很大一部分问责,因为还有其他制衡在场。当部署方对不在场的公民握有强制性的公权力时,证明控制有效的证据,必须为部署机关之外的某个人出具,并能由这个人检验;受影响的人也需要一条对结果提出异议的途径。落到我会拿来用的工具上,公权力场景下的 AI 治理需要一层我的临床清单从来不必写明的东西:
- 独立审查。 由部署部门以外的人检验控制是否真的守得住,而不是由这个部门自我认证。
- 公开的影响摘要。 一份公开记录,写明系统做什么、多常出错,让监督不必依赖部署方主动提供。
- 公民投诉与申诉。 一条明确指定的途径,让受影响的人可以指出错误的决定,并由一位有权推翻它的人重新审议。
- 外部监督。 一个常设机构,能调查整体模式,而不只是单个个案,就像监管机构调查拒绝数量的激增那样。
我不声称的是什么。 我不治理公共行政,也不会假装一份临床风险登记册能扩展到福利系统。我能准确说出的,是我自己的框架哪里不完整:它假定有在场的用户和居中把关的专业人员,又悄悄让构建者承担了很大一部分问责。经合组织的公共部门事件是一个提醒:当既没有在场的用户,也没有居中把关的责任,而部署方又握有公权力时,自我认证是所能有的最弱的控制;外部的、独立的问责不是锦上添花,而是让治理成真的那样东西。同一门从承诺到证据的功夫,对准公权力时,要比在病床边多回答一个问题:向谁证明。
来源:经合组织(OECD),AI Incidents and Hazards Monitor(AIM),它记录已报告的 AI 事件与危害,并按行业分类,其中包括政府、安全与国防;这篇笔记提到的公共部门例子取自它记录的条目。该监测器注明,其内容不应被报道为经合组织或其成员国的官方观点。这篇笔记是治理层面的反思,不构成法律或公共政策意见。