2026 年 9 月 2 日

多数时候它是对的,这正是问题所在:为什么面向病人的医疗 AI 应当按它拒答什么来评判

在两次复诊之间,一个慢性病病人一年里有将近八千个小时,只能独自面对自己的问题。他们越来越常把这些问题拿去问通用 AI 助手,也越来越常得到好的回答。最后这一点,不是真正论证之前的修辞性让步。它本身就是论证。

现在评估医疗 AI 的方式,对真正到达病人的那种失败一言不发。 基准测试问的是回答对不对,几乎没有一个问系统到底该不该回答。这是两个不同的问题,而伤害就出在第二个问题上,因为病人没法核查回答是否正确,也不会去试。病人能感知到的,是流畅、自信和有帮助;而一个通常都对的系统,已经教会了他们:流畅是一个可靠的替代指标。它通常也确实可靠。正是这一点,让例外在对话内部无从察觉。

看看它具体是什么样子。病人问了一个完全在范围之内的问题:我的空腹血糖一直在往上走,这是怎么回事。一个构建得好的系统会答得很好,给出一个范围,再附上一句提醒。接着,病人一口气、语气毫无变化地问出下一个问题,而这个问题不在范围之内:我该不该把二甲双胍减半,我是不是有肾损伤。界面上没有任何东西标出刚刚越过的那条边界,因为边界本来就不在界面上。它在于这个回答在临床上有没有资格,而系统没有办法把它显示出来。 一个助手如果用回答第一个问题时同样令人安心的语气回答第二个问题,那么按它被打分的任何一项指标来看,它都没有出故障。它很有帮助。

如果这类系统通常是错的,我们早就不用了。这之所以是治理问题而不是模型质量问题,是因为正确的基础比率很高,而且还在上升;基础比率每升高一点,例外的权威就增加一分。

所以,我的出发点是这样一个主张:面向病人的医疗 AI,主要应当按它拒绝做什么来评判;而一次拒绝如果不留下记录,就一文不值。 由此推出三件事。我想把它们写成承诺而不是功能,因为功能会被砍掉,承诺则必须有人拿出论证才推得掉。

拒答是一种临床行为,不是一种错误状态。 系统不予回答时,是在就自身权限的边界作出判断,而这个判断必须让人看得懂:它不会做什么,它还能做什么,这段时间里病人可以留意观察哪些有用的情况,以及这个问题现在落在哪里。一个只说“不”的拒答,等于把风险推回给这场对话里最没有能力应对的人。一个病人只被告知“请咨询你的医生”,而下一次预约还在九天之后,他是被礼貌地抛下了。

升级(转交医生处理)必须带来好处,而不是多一个收件箱。 把任何事情转给人处理,一贯会招来的反对是:临床医生已经满负荷了。按通常的实现方式,这个反对是对的。只有当升级送到时已经是一份准备,让这次问诊一开始就比原本更进一步,它才不再成立。一个耗费临床医生时间的升级,是一个不出一个季度就会被关掉的治理机制;任何不正视这一点的设计,都不算认真。

记录必须比对话活得久。 这是我最在意的部分,也是最常被一笔带过的部分。事发几个月后,审查一个不良结局的人,需要能打开系统停下来的那一段对话本身,看到它拒绝说什么,并看到这次拒绝原封不动地转给了一个人。一次无法重建的拒答,和一次从未发生的拒答,无从区分。 正是在这里,治理变成了一项工程约束,而不是一份政策声明,因为持久性、来源可追溯性和版本绑定必须从第一次提交起就设计进去,否则以后要加,就只能改写这份记录的含义。

这些都不新奇。我想说清楚:这里难的不是这个立场。这个论点的各种版本,文献里早就有了。难的是它底下的一切:一套临床医生愿意签核、而不只是容忍的拒答分类体系;规定哪些临床表现触发哪一级升级的阈值,这些阈值无法从第一性原理推导出来,只能来自临床判断;一套审计记录结构,把每一条输出绑定到生成它的模型、提示词、规则和配置版本;一套为不予回答打分、而不是为回答打分的评测框架,这意味着要建一个没有人有动力去建的负例测试集;以及最难的,用真实病人数据而不是合成情景来做这件事所需的临床与伦理资格。决定这一切能否成真的,是这些东西;有了这个想法,其中任何一样都不会因此变短。

我正在把它作为医疗数字孪生项目(Medical Digital Twin Initiative)来构建,项目始于 2026 年 8 月。它处于部署前阶段,在合成情景上运行;没有临床结果可报告,也不声称其中任何部分已在病人身上验证过。现有的是一份治理记录,以及这种交互模式的一个可运行演示。我宁愿现在就把立场写下来,标上日期,也不愿等到手上有了亮眼到足够稳妥的东西再说。

这篇笔记配有一部短片。它跟着一位病人走过一个本该被拒答的问题,把同一个时刻呈现两次:一次没有治理,一次有治理,包括三个月后日志是什么样子。这是一个说明性的合成情景,描绘的是一类有据可查的伤害,不是某个具体产品,也不是真实病例;它有意只展示系统做了什么,不展示系统怎样作出决定。它最后落在的那一点,正是这篇笔记开头的那一点。

多数时候,它是对的。这正是问题所在。