笔记
简短的治理笔记。每篇只取一个技术问题,把它翻译成治理语言:风险是什么,谁来负责,实际上会怎样部署。每篇都为讲清楚一个想法而写,把技术工作变成别人能跟上、也能复用的治理推理。
-
2026 年 9 月 2 日
医疗 AI 的评估几乎完全看它的回答对不对。这个指标对真正到达病人的那种失败一言不发:那种失败不是答错,而是对一个系统根本没有资格回答的问题,给出流畅又有帮助的回答。这篇笔记写下我构建时所依据的立场:拒答、升级(转交医生处理)和记录的持久性,不是包在临床系统外面的一层安全包装,而是系统边界的一部分;而且一次拒答只有留下临床医生几个月后还能打开的证据,才有价值。笔记也直说难在哪里:难的不是这个想法,而是它底下的分类体系、阈值、记录结构和临床准入。
-
2026 年 8 月 28 日
我对自己的医疗 AI 治理包做了一次编号审计,本以为会找到过时的交叉引用。一个也没有。审计反而发现了另一件事,而且只是因为它迫使我打开每一份登记在册的文档才发现:其中七份装的并不是它们登记的那份文档,两份成了日积月累的工作笔记,五份是空文件。治理包其他地方有两条主张依赖这些文档,因此是假的,其中包括一行自我评估:它被标为“已覆盖”(Covered),凭的却是一份并不以所声称形式存在的文档。牵涉更广的那个发现更糟,也更有用:治理包里没有一份文档有指定的批准人,所以每一份文档都由同一个人撰写、负责、批准。这篇笔记讲的是方法,不是忏悔,因为这项检查可以推广:存在不等于有内容;从没往不利方向变动过的登记册,就是没有人在检查的登记册。
-
2026 年 8 月 7 日
金融稳定理事会(FSB)把第三方提供商集中度和市场相关性,列为金融业中最可能演变为系统性风险的 AI 脆弱性中的两项;它 2026 年就稳健做法发起的征求意见,正在把这一关切从监测推向期望机构遵循的做法。从医院这一侧读,这暴露了我已经在做的供应商依赖图里的一个盲点:逐个机构的审查可以做得诚实、做得好,却仍然看不见许多机构悄悄依赖同一个模型、同一个云服务或同一种芯片的风险。金融的框架不只是让我的这门功夫得以迁移。它还反过来给了我一栏,是我只针对医院的版本所缺的。
-
2026 年 8 月 7 日
经合组织(OECD)的 AI Incidents and Hazards Monitor 追踪已报告的 AI 伤害,并按行业分类;政府、安全与国防是一个反复出现的类别,从官方机构用 AI 生成的材料在公众面前出错,到 AI 生成的法律建议加重一个国家社会法院的负担。在我的临床 AI 工作里,我常常既是构建者,又在很大程度上充当着那道判定系统安全的控制;这之所以还能接受,部分是因为有临床医生居中把关输出,而且病人在场。当部署方握有的是对公民的公权力,而这些公民不在场、没有同意、往往也不知道 AI 参与其中时,自我认证就不再够用。从承诺到证据这门功夫仍然可以迁移,但证据现在必须为部署机关之外的人出具。
-
2026 年 7 月 27 日
Google DeepMind 发布了它在生物韧性上的做法:用 AI 加强对生物威胁的防御,同时公开承认,同样的前沿模型也可能降低生物滥用的门槛。对治理面向病人的医疗 AI 的人来说,有用的部分不是生物安全这个头条,而是问责几何的一次翻转:面向病人的治理保护的是系统面前的那个人,两用治理却必须保护那些离系统很远的人。这篇笔记讲清楚这次翻转为什么会改变哪些保障措施才算数,以及为什么具备生物学能力的模型,其部署保障措施不能只是临床式的护栏。
-
2026 年 7 月 27 日
2026 年以来,美国一批州相继立法,规范医疗保险公司在事先授权和理赔中使用 AI,并汇聚到同一条规则上:AI 可以辅助,但不能成为拒绝医疗的唯一依据,不利决定必须由持牌专业人员作出。大多数医疗 AI 治理,包括我自己的大部分工作,关心的是系统面前那位病人所得医疗的质量与安全。这些法律治理的是另一件事:可及性。它们提出的有用问题是,法律要求的人工监督是真的,还是橡皮图章;而这原来是同一个从承诺到证据的问题,只是现在落在可及性这条轴上。
-
2026 年 7 月 23 日
智能体 AI 的治理正在从自愿承诺走向制度化的控制,各国的 AI 安全机构正在把测试协议和操作指南正式确立下来。这个转变带来的实际问题很窄,也答得出来:智能体每一种可能造成伤害的方式,证明它已受控的测试在哪里,证明控制守住了的日志又在哪里。这篇笔记逐项讲解我为回答这个问题而构建的智能体风险控制矩阵。
-
2026 年 7 月 22 日
欧盟科技事务负责人 Henna Virkkunen 对 Financial Times 表示,AI 已经成为一种地缘政治武器,并举了华盛顿 6 月以出口管制短暂切断 Anthropic 模型一事为例。对医疗 AI 来说,这个警告落到实处,就是一个医院很少写进风险登记册的治理问题:一个面向病人的系统所依赖的境外模型,如果因为与临床表现毫无关系的原因而无法再使用,这个系统会怎样?
-
2026 年 7 月 19 日
医疗 AI 通常在哪里开发,就在哪里验证。但模型学习用的样本,不是它将被部署进去的那个世界;两者之间的差距是治理问题,不是技术上的脚注。
-
2026 年 7 月 19 日
上线时通过验证的模型,可能随着病人、设备和工作流程的变化而悄悄退化。世界在变,模型却不会跟着变,除非有人让它变。
-
2026 年 7 月 19 日
一个能找出 90% 病人的癌症筛查模型,拿去部署仍可能是一笔不划算的押注。治理要问的不是它有多准,而是它出错的代价是什么、由谁承担,以及它发生漂移时有没有人会察觉。
-
2026 年 7 月 19 日
如果前后对比证明不了医疗 AI 有效,那什么能证明?靠对照:对照组、自然实验,或者双重差分设计,把 AI 的效果从其他所有变化中分离出来。
-
2026 年 7 月 19 日
医疗 AI 上线后,结果常常看起来更好了。但“之后更好”不等于“因此更好”。把两者混为一谈,系统就领走了本不该归它的功劳。
-
2026 年 7 月 19 日
平均表现是一个让人安心的数字,也是不公平藏身的地方。医疗 AI 可以让总体变好,同时对最承受不起的病人悄悄变差。
-
2026 年 7 月 19 日
多数医疗 AI 输出的是风险评分,再由某个人划一条线:高于这条线就行动,低于就不行动。这条线在悄无声息地分配误报、漏诊、成本和责任。决定线划在哪里,是治理,不是工程。
-
2026 年 7 月 19 日
医疗 AI 可以把病人的风险高低排得很准,给出的概率却仍然可能是错的。如果“80% 风险”并不代表 100 个类似病人里大约有 80 个会发生所预测的事件,那么临床医生和病人不是在获得信息,而是在被带偏。