2026 年 7 月 19 日
平均有益的模型,仍可能伤害某个亚组
医疗 AI 的表现通常按总体报告:总体准确率、总体 AUC、等候时间的总体缩短。总体数字让人安心,问题恰恰出在这里。平均值可以变好,而在它底下,某个特定群体的表现却在变差。
会遇到这种情况的群体是可以预料的:女性、老年病人、少数族裔、患有罕见病的人、在资源不足的机构就诊的病人、因语言不通而难以获得服务的人,以及病历不完整的人。这些往往本来就是服务不足的群体,而合并计算的指标,恰恰就是把他们的遭遇藏起来的工具。
这不只是公平问题,也是一个有具体落点的安全问题。一个模型如果在某个亚组里对某种疾病检出不足,就会把真实而集中的伤害落到真实的人身上,而对外公布的那个数字依然好看。而且,有偏差的输出可能回流到训练下一个版本的数据里,所以这个差距可能随时间扩大,而不是停在原地。
治理的回应是:不接受平均值作为充分的证据。表现必须拆开报告,按性别、年龄、族裔、机构和数据完整度分别列出;临床上没有正当理由的差距,必须触发行动,而不只是一条脚注。
要问的问题是:
- 表现是按亚组报告的,还是只有合并计算的结果?
- 哪些群体在数据里人数太少,没法可靠评估?这种缺位有没有被明确承认?
- 出现亚组差距时,谁负责调查并采取行动?
医疗 AI 的公平,不是靠善意或者一个看起来很多元的演示达成的。要靠刻意去看平均值底下的情况,部署前看,部署后也持续地看。