项目衍生 · 部署前 · 已脱敏

主张与证据登记册(项目衍生,已脱敏)

这份登记册收录一个面向病人的系统打算提出的每一条主张,并把它与真正能支持它的证据对照。每一行记录:主张将怎样措辞;手上有什么证据;这些证据实际支持什么,而不是它被引来支持什么;两者之间的差距;以及在这条主张可以提出之前,必须先有的具体研究或核查。从 v0.2 起,它也记录项目在公开场合就其所针对的问题提出的背景主张。

这份文档的用途

(译注:本登记册核对的是英文页面上的原句;中文页面的对应句子是其译文,主张相同。)我的治理包里,其余部分回答的都是组织层面的问题:谁负责一项风险,谁可以推翻系统,监测什么,谁批准一次变更。这份登记册回答的问题排在所有这些问题之前,而且一旦跳过,治理结构也补救不了:证据是否支持系统对自己的说法?

它和验证报告是两种不同的工具。验证报告说明测量了什么。这份登记册从另一头开始:从病人、临床医生、资助方或监管机构真正会读到的那句话出发,倒推证据基础里有没有任何东西让项目有资格这样说。两者不会自动吻合。一个模型可以经过验证,却仍然被人用它的验证所不允许的语言来描述。

所以每一行都把两件通常被混为一谈的事分开:一条主张引用的证据,和这些证据支持的内容。两者之间的差距,就是被治理的对象。

我在 HKU-Avnet Joint AI Laboratory(港大与安富利的联合 AI 实验室)构建一个面向病人的心血管代谢数字孪生,这份文档取自它的治理包。它已脱敏;它也处在部署前,而这里的“部署前”有一层值得直说的具体含义:下面的主张是项目打算提出的主张,不是它现在提出的主张。有几行记录的是:所需的证据还不存在。这是登记册在起作用,不是登记册失灵。

我为什么建这份登记册(构建者视角)

有两件事把我带到这里。第一件是我在机器学习领域做了五年多审稿。在那里,最常见的缺陷不是方法错了,而是主张悄悄长得比它下面的实验还大:结果被推广到测量它的场景之外;一个提升,没有任何消融实验说明它从哪里来;一次比较,用的方案也是作者自己设计的。这种模式没有一点是机器学习特有的。只要提出主张的一方,同时也是选择怎样检验它的一方,就会出现这种情况。

第二件离我更近。这个月早些时候,我审计了自己的治理包,发现被登记为其他主张证据的文档,并不包含登记时所说的内容,因此依赖它们的两条主张不属实。那次审计针对的是文档。更难的那一层它没有碰到,因为一份文档可以存在、命名正确,却仍然描述一种数据并不支持的性能。

所以这份登记册把同一件工具对准我自己系统的性能主张和临床主张,而且是在出现任何要求提出这些主张的外部压力之前。趁好几行的诚实答案还是尚无证据的时候写它,就是全部意义所在。上线期限到了才起草的主张登记册,就是一次营销审查。

固定元数据

字段 值
项目阶段 孵化 / 部署前
范围 关于一个心血管代谢数字孪生的性能主张、临床主张和面向病人的主张;从 v0.2 起,也包括项目在公开场合就其所针对的问题提出的背景主张
来源 医疗数字孪生治理包的内部主张与证据审查
纳入范围的输入 可穿戴设备信号(心率、心率变异性、睡眠)、电子健康记录中的化验值(HbA1c、血脂)、血压读数,以及病人自我报告
最近更新 2026 年 10 月 22 日
已知局限 部署前示例。这些主张是正在审查的拟用措辞,不是已发表的陈述;负责人是角色层面的占位,任何对外试点之前,都要落实到具名的个人;下面没有任何一行被认证为已通过

主张与证据登记册

主张(拟用措辞) 会出现在哪里 为它引用的证据 这些证据实际支持什么 差距类型 负责人 提出这条主张之前必须具备什么
“Estimates your cardiometabolic risk”(译文:估计你的心血管代谢风险) 病人界面、公开摘要 回顾性开发队列,内部划分 一个回顾性人群上的区分度,且限于该人群的病例构成 夸大:只经内部验证的泛化 临床安全负责人 在开发时没用过的机构和时间段上做外部验证;报告时附上校准,而不只报区分度
“Personalised to you”(译文:为你个性化定制) 病人界面、资助方材料 模型读入个人的可穿戴设备数据和化验数据 只说明输入来自个人,不说明输出在有意义的程度上因人而异,或是稳定的 无依据:从未测量过个性化 模型负责人 个体层面的敏感性分析,以及同一个人在多个重复时间窗上的重测稳定性
“Clinically validated”(译文:经过临床验证) 资助方材料、任何试点方案 取自临床记录的化验值 只说明用了临床数据作为输入;对临床性能什么也说明不了 含糊用语:按现在的写法无法证伪 临床安全负责人 换成一句具体的话,写明终点、人群、对照,以及带置信区间的指标;或者删掉这个说法
“Accuracy of 0.8x on the validation set”(译文:在验证集上的准确率为 0.8x) 技术摘要、会议摘要 一次划分、一个随机种子、一个主打的区分度指标 一个抽样变异未知的点估计 统计上无依据 模型负责人 置信区间、多次划分和多个随机种子、校准曲线,以及在实际使用的工作阈值上做的决策曲线分析
“Works for our patient population”(译文:适用于我们的病人群体) 试点方案、部署讨论 整个队列的汇总性能 平均性能;平均性能成立的同时,某个亚组仍可能失效 亚组未经检验 公平性 / 临床安全负责人 预先设定的亚组报告,每个亚组有最低样本量;亚组要包括设备类型和数据完整度,不只是人口学特征
“Explains why you were flagged”(译文:解释你为什么被标记) 病人界面 随每个估计一同提供的特征归因输出 只说明某种归因方法运行过,不说明它的输出反映了模型实际的推理 归因未经验证 模型负责人 对照模型行为,检验解释方法的忠实性;在此之前,措辞用 “factors associated with this estimate”(译文:与这个估计相关的因素),不用 “why”(译文:为什么)
“Helps you act earlier”(译文:帮助你更早采取行动) 病人界面、公开摘要 无。是从更早发现的临床合理性推理出来的 对结局什么也说明不了。不存在任何干预性研究或比较研究 无依据:没有结局研究的结局主张 治理负责人 一项预先注册结局的前瞻性比较研究。在它出现之前,这条主张不是弱化,而是删除
“Continuously updated with your latest data”(译文:用你的最新数据持续更新) 病人界面 数据接入管线按既定时间表运行 只说明数据会进来,不说明输入变化时经过验证的行为仍然成立 范围错配:把流程当作性能来引用 工程负责人 按监测表做漂移监测,并设定明确的再验证触发条件;再写明一条规则:触发时估计值怎样处理
“Reviewed by clinicians”(译文:经临床医生审阅) 资助方材料、网站 一位外部临床医生在 2026 年 8 月审阅了第一阶段(Phase 1)的范围 一次范围审阅,把应用场景收窄到单一病种。它不是对模型性能的审阅 夸大:把对范围的审阅说成对系统的审阅 治理负责人 像部署前章程那样,写明这次审阅覆盖了什么、没覆盖什么;或者取得独立的临床验证,改为引用它

背景主张:项目对问题本身的说法

上面各行治理的,是系统将来会怎样说自己。一个项目也会对它所针对的问题提出主张;这些主张失败的方式相同,只是形式不同:把预期效果报告成结果,把一个人群的数字拿去说另一个人群,把估算写成测量。从 v0.2 起,这份登记册也收录这些主张。Day Eleven 页面上,凡是用数字或趋势来描述这个问题,或描述项目所回应的这个时机的句子,在这里都有一行,并附上来源,以及最近一次对照该来源核查的日期。

主张(原措辞) 出现在哪里 来源 来源支持什么 状态 最近核查
“in February 2025 the Hospital Authority announced that generative AI would draft medical reports in six public hospitals from the following month, with every report checked and authorized by a doctor”(译文:2025 年 2 月,医院管理局宣布,从下个月起,六家公立医院将用生成式 AI 起草医疗报告,每份报告都由医生核对并核准) Day Eleven The Standard, 20 February 2025(医院管理局行政总裁的记者会) 这项宣布、六家试点医院、从下个月开始,以及每份报告都由医生签核 有依据(对官方宣布的新闻报道)。用途是起草医疗报告,不是临床决策 22 Oct 2026
“the Government announced that the Chronic Disease Co-Care Pilot Scheme, which had passed 200,000 participants, would be regularised”(译文:政府宣布,参加人数已超过 200,000 的慢性疾病共同治理先导计划将会常规化) Day Eleven HKSAR Government press release, 13 March 2026 截至 2026 年 1 月底,参加人数超过 200,000;2026 年 3 月 13 日宣布常规化 有依据(官方数字) 22 Oct 2026
“launched a Primary Healthcare Co-care Network that aims to reach about 700,000 people in its first five years. It also said it would gradually invite suitable patients from Hospital Authority Family Medicine Clinics to join the network’s services”(译文:并推出基层医疗共同治理网络,目标是在头五年覆盖约 700,000 人。政府还表示,会逐步邀请医院管理局家庭医学诊所的合适病人加入该网络的服务) Day Eleven 同一份新闻稿 一个五年参与目标,以及一项已表明的政策意向 作为目标和意向有依据;不得改写成已经达成 22 Oct 2026
“the Hospital Authority cared for more than 658,000 people with diabetes in 2024, and … giving all of them continuous glucose monitors would overload healthcare staff with readings and add several billion dollars a year”(译文:医院管理局在 2024 年诊治了超过 658,000 名糖尿病病人,而且……给他们所有人配连续血糖监测仪,会让医护人员被读数压垮,每年还要多花数十亿元) Day Eleven Legislative Council reply (LCQ6), 16 July 2025 官方的病人人数,以及政府用自己的话说明的理由 有依据(官方陈述) 22 Oct 2026
“A person with diabetes might spend an hour or two a year in front of a clinician. For the more than eight thousand hours in between, they are alone with their questions”(译文:一个糖尿病病人,一年里在临床医生面前的时间可能是一两个小时。中间那八千多个小时,他们独自面对自己的问题) Day Eleven,”Why it matters”(译文:为什么重要) 没有单一来源。依据:医院管理局普通科门诊每次诊症八分钟的规划参数(LegCo LCQ7, 2017);病情稳定的病人每年例行复诊几次(临床医生提供的信息);以及与护士和专职医疗人员的接触 一个数量级。第二个数字由第一个数字算出(一年有 8,760 小时) 估算,不是测量数字。没有找到已发表的、关于每名病人每年与临床医生接触总时长的香港数字 22 Oct 2026
“more of those questions now go to general-purpose AI assistants”(译文:其中越来越多的问题,现在交给了通用 AI 助手) Day Eleven,”Why it matters”(译文:为什么重要) KFF 对美国成年人的民调:17% 的人至少每月一次用 AI 聊天机器人获取健康信息和建议(2024);29% 的人至少每月一次用 AI 工具或聊天机器人获取健康信息和建议(June 2026) 美国成年人中这一比例在上升;两次民调的问题措辞略有不同 仅对美国有依据;没有找到香港数据 22 Oct 2026
“In most clinics no one would see it overnight”(译文:在大多数诊所,夜里不会有人看到它) Day Eleven,短片介绍 Hospital Authority directory of Family Medicine Clinics(查阅日期:22 October 2026);Legislative Council reply (LCQ4), 25 April 2018 名录列出的 77 家医院管理局家庭医学诊所,没有一家在晚上 10 点后应诊;其中 24 家设夜间诊症时段,到晚上 10 点结束。2018 年,政府告诉立法会,医院管理局没有计划在深夜或通宵提供普通科门诊服务 对公立家庭医学诊所有依据。私人诊所方面,只有一位议员在 2018 年那项质询中说,绝大多数私人诊所不在深夜应诊;没有找到测量数字 22 Oct 2026

这些行是靠阅读来源核实的,不是靠重新计算。这些句子中任何一句要在资助申请、论文稿件或新闻声明里再次使用,都要在当天重新核查来源。

差距分类

中间几列是可以复用的部分。不论哪个领域,主张与证据脱节的方式都只有少数几种,而且反复出现;说出差距属于哪一类,才能让所需的修正具体化,而不只是笼统地叮嘱一句要小心。

差距类型 表现形式 怎样弥合
无依据 证据基础里没有任何与这条主张相关的内容,常见于结局主张或获益主张 做能回答它的那项研究,或删掉这条主张
夸大 证据是真的,但被拉伸到收集它时所在的人群、时间段、场景或终点之外 把措辞收窄到证据范围内,或扩大证据
循环论证 主张由提出者自己设计的程序来验证,用的对照也是提出者自己实现的 由外部定义的方案、已发表的对照,或与结果没有利害关系的评估者
归因不清 有东西变好了,但没有任何东西能确定是哪个组件带来的 能单独分离出该组件的消融实验或对照比较
亚组未经检验 拿一个汇总数字,当作关于其中每一个人的证据 预先设定的亚组报告,并规定最低样本量
范围错配 把一个关于流程的事实,引作关于性能的事实的证据 关于性能的证据,而不是关于流程的证据
过时 证据对某个版本、队列或时间段成立,但它们已不再适用 再验证,或把主张改写成限定于特定版本的说法

最难抓到的一种

七种类型里有六种,仔细阅读就能发现。循环论证不能,因为每一份文档单独看都是自洽的。当同一方定义主张、设计评估、选择对照、报告结果时,它就会出现;而它在文档层面看不见,恰恰是因为在文档层面什么都没错。

在医疗 AI 里,它以熟悉的面目出现:评估方案由开发者撰写;对照由开发者自己搭建,而不是公认的标准诊疗;回顾性队列在看过结果之后才选定;阈值在报告它的同一份数据上选出。每一步单独看都站得住脚。合在一起,得出的数字衡量的更多是测试的设计,而不是系统的性能。

结构性的控制不是读得更仔细,而是这套治理包在其他所有地方都在用的同一种分离:交付一个组件的一方,不认证这个组件。对主张来说,这意味着评估方案和对照要在看到结果之前确定,并且由不对结果负责的人来定。如果安排不了这种分离,诚实的做法不是把话说得没那么肯定,而是在这份登记册里记下:这些证据由开发者控制,好让后来的读者据此掂量它的分量。

阅读不等于核实

一个只读过证据的人,也能把登记册填得准确。有些行需要重新计算;我把这些行单独列出,因为能抓到阅读够不着的缺陷的,正是它们:

我无法重新计算的地方,登记册会写明。靠阅读核实的一行和靠重新计算核实的一行,是强度不同的证据;把两者混为一谈,正是这份文档要防止的那种错误。

设计原则

一条主张算是被治理了,是指项目对它打算就系统说出的每一句话,都能回答:这句话会出现在哪里;为它引用了什么证据;这些证据实际支持什么(区别于它被引来支持什么);哪种差距类型把两者隔开;谁负责弥合这个差距;以及在这句话可以使用之前,必须先有哪项具体的研究或核查。

任何主张在这里有一行之前,都不会送到病人、资助方或监管机构面前,也不会进入论文稿件。没有一行的主张,不是一个小小的文档缺口。它是一句没有人被指定负责为它提供依据的陈述。

改了什么,为什么改

这一节长期保留;每次修订都在这里追加,而不是替换原有内容,好让这个页面可以被核查,而不只是被阅读。

v0.1(2026 年 8 月 30 日)。首次发布。有三行记录为完全没有支持证据;还有一行,把项目本可以真诚提出的一条主张(临床医生审阅过这个系统)降级为那次审阅实际覆盖的内容。两者都是有意的。一份主张登记册,如果第一版就显示每条主张都已有依据,这本身就是证据,说明它是写来给人看的,而不是拿来用的。

v0.2(2026 年 10 月 22 日)。新增背景主张表,让这个项目在公开场合对问题的说法,和它打算对系统的说法,受同样的纪律约束。Day Eleven 页面上有两句话,从 9 月起就在页面上,一直没有来源,现在按实际状态记录:一句是估算,一句只对美国成年人有依据。第三句关于诊所夜间有没有人值守,没有来源,也如实记录为没有来源。医院管理局 2025 年关于生成式 AI 的宣布,原本就在页面上,现在连同来源一起记录。

v0.2.1(2026 年 10 月 22 日,同一天稍晚)。关于诊所夜间值守的那一行,几小时前发布时标为没有来源,现在有了来源:医院管理局 77 家家庭医学诊所的名录(其中没有一家在晚上 10 点后应诊),以及一份 2018 年的立法会答复。这些证据覆盖公立诊所;对私人诊所,这一行记录的是只有一位议员的说法。上面 v0.2 的条目保留发布时的原样。

相关笔记:索引列出一个文件,并不是这个文件里有任何内容的证据,把同一件工具往下用了一层,用在治理包声称持有的文档上。

引用信息
字段 值
标题 Claims and Evidence Register (project-derived, sanitized)
作者 Xiaoyan Qian
公开页面版本 v0.2.1
发布日期 2026-08-30
固定网址 https://xiaoyanqian.com/artifacts/claims-evidence-register/
许可 保留所有权利
建议引用格式 Qian, X. (2026). Claims and Evidence Register (project-derived, sanitized) (v0.2.1). https://xiaoyanqian.com/artifacts/claims-evidence-register/