項目衍生 · 部署前 · 已脫敏
主張與證據登記冊(項目衍生,已脫敏)
這份登記冊收錄一個面向病人的系統打算提出的每一條主張,並把它與真正能支持它的證據對照。每一行記錄:主張將怎樣措辭;手上有甚麼證據;這些證據實際支持甚麼,而不是它被引來支持甚麼;兩者之間的差距;以及在這條主張可以提出之前,必須先有的具體研究或核查。從 v0.2 起,它也記錄項目在公開場合就其所針對的問題提出的背景主張。
這份文件的用途
(譯註:本登記冊核對的是英文頁面上的原句;中文頁面的對應句子是其譯文,主張相同。)我的治理包裏,其餘部分回答的都是組織層面的問題:誰負責一項風險,誰可以推翻系統,監測甚麼,誰批准一次變更。這份登記冊回答的問題排在所有這些問題之前,而且一旦跳過,治理結構也補救不了:證據是否支持系統對自己的說法?
它和驗證報告是兩種不同的工具。驗證報告說明測量了甚麼。這份登記冊從另一頭開始:從病人、臨床醫生、資助方或監管機構真正會讀到的那句話出發,倒推證據基礎裏有沒有任何東西讓項目有資格這樣說。兩者不會自動吻合。一個模型可以經過驗證,卻仍然被人用它的驗證所不允許的語言來描述。
所以每一行都把兩件通常被混為一談的事分開:一條主張引用的證據,和這些證據支持的內容。兩者之間的差距,就是被治理的對象。
我在 HKU-Avnet Joint AI Laboratory(港大與安富利的聯合 AI 實驗室)構建一個面向病人的心血管代謝數字孿生,這份文件取自它的治理包。它已脫敏;它也處在部署前,而這裏的「部署前」有一層值得直說的具體含義:下面的主張是項目打算提出的主張,不是它現在提出的主張。有幾行記錄的是:所需的證據還不存在。這是登記冊在起作用,不是登記冊失靈。
我為甚麼建這份登記冊(構建者視角)
有兩件事把我帶到這裏。第一件是我在機器學習領域做了五年多審稿。在那裏,最常見的缺陷不是方法錯了,而是主張悄悄長得比它下面的實驗還大:結果被推廣到測量它的場景之外;一個提升,沒有任何消融實驗說明它從哪裏來;一次比較,用的方案也是作者自己設計的。這種模式沒有一點是機器學習特有的。只要提出主張的一方,同時也是選擇怎樣檢驗它的一方,就會出現這種情況。
第二件離我更近。這個月早些時候,我審計了自己的治理包,發現被登記為其他主張證據的文件,並不包含登記時所說的內容,因此依賴它們的兩條主張不屬實。那次審計針對的是文件。更難的那一層它沒有碰到,因為一份文件可以存在、命名正確,卻仍然描述一種數據並不支持的性能。
所以這份登記冊把同一件工具對準我自己系統的性能主張和臨床主張,而且是在出現任何要求提出這些主張的外部壓力之前。趁好幾行的誠實答案還是尚無證據的時候寫它,就是全部意義所在。上線期限到了才起草的主張登記冊,就是一次營銷審查。
固定元數據
| 字段 | 值 |
|---|---|
| 項目階段 | 孵化 / 部署前 |
| 範圍 | 關於一個心血管代謝數字孿生的性能主張、臨床主張和麪向病人的主張;從 v0.2 起,也包括項目在公開場合就其所針對的問題提出的背景主張 |
| 來源 | 醫療數字孿生治理包的內部主張與證據審查 |
| 納入範圍的輸入 | 可穿戴設備信號(心率、心率變異性、睡眠)、電子健康記錄中的化驗值(HbA1c、血脂)、血壓讀數,以及病人自我報告 |
| 最近更新 | 2026 年 10 月 22 日 |
| 已知侷限 | 部署前示例。這些主張是正在審查的擬用措辭,不是已發表的陳述;負責人是角色層面的佔位,任何對外試點之前,都要落實到具名的個人;下面沒有任何一行被認證為已通過 |
主張與證據登記冊
| 主張(擬用措辭) | 會出現在哪裏 | 為它引用的證據 | 這些證據實際支持甚麼 | 差距類型 | 負責人 | 提出這條主張之前必須具備甚麼 |
|---|---|---|---|---|---|---|
| “Estimates your cardiometabolic risk”(譯文:估計你的心血管代謝風險) | 病人界面、公開摘要 | 回顧性開發隊列,內部劃分 | 一個回顧性人羣上的區分度,且限於該人羣的病例構成 | 誇大:只經內部驗證的泛化 | 臨床安全負責人 | 在開發時沒用過的機構和時間段上做外部驗證;報告時附上校準,而不只報區分度 |
| “Personalised to you”(譯文:為你個性化定製) | 病人界面、資助方材料 | 模型讀入個人的可穿戴設備數據和化驗數據 | 只說明輸入來自個人,不說明輸出在有意義的程度上因人而異,或是穩定的 | 無依據:從未測量過個性化 | 模型負責人 | 個體層面的敏感性分析,以及同一個人在多個重複時間窗上的重測穩定性 |
| “Clinically validated”(譯文:經過臨床驗證) | 資助方材料、任何試點方案 | 取自臨床記錄的化驗值 | 只說明用了臨床數據作為輸入;對臨床性能甚麼也說明不了 | 含糊用語:按現在的寫法無法證偽 | 臨床安全負責人 | 換成一句具體的話,寫明終點、人羣、對照,以及帶置信區間的指標;或者刪掉這個說法 |
| “Accuracy of 0.8x on the validation set”(譯文:在驗證集上的準確率為 0.8x) | 技術摘要、會議摘要 | 一次劃分、一個隨機種子、一個主打的區分度指標 | 一個抽樣變異未知的點估計 | 統計上無依據 | 模型負責人 | 置信區間、多次劃分和多個隨機種子、校準曲線,以及在實際使用的工作閾值上做的決策曲線分析 |
| “Works for our patient population”(譯文:適用於我們的病人羣體) | 試點方案、部署討論 | 整個隊列的彙總性能 | 平均性能;平均性能成立的同時,某個亞組仍可能失效 | 亞組未經檢驗 | 公平性 / 臨床安全負責人 | 預先設定的亞組報告,每個亞組有最低樣本量;亞組要包括設備類型和數據完整度,不只是人口學特徵 |
| “Explains why you were flagged”(譯文:解釋你為甚麼被標記) | 病人界面 | 隨每個估計一同提供的特徵歸因輸出 | 只說明某種歸因方法運行過,不說明它的輸出反映了模型實際的推理 | 歸因未經驗證 | 模型負責人 | 對照模型行為,檢驗解釋方法的忠實性;在此之前,措辭用 “factors associated with this estimate”(譯文:與這個估計相關的因素),不用 “why”(譯文:為甚麼) |
| “Helps you act earlier”(譯文:幫助你更早採取行動) | 病人界面、公開摘要 | 無。是從更早發現的臨床合理性推理出來的 | 對結局甚麼也說明不了。不存在任何干預性研究或比較研究 | 無依據:沒有結局研究的結局主張 | 治理負責人 | 一項預先註冊結局的前瞻性比較研究。在它出現之前,這條主張不是弱化,而是刪除 |
| “Continuously updated with your latest data”(譯文:用你的最新數據持續更新) | 病人界面 | 數據接入管線按既定時間表運行 | 只說明數據會進來,不說明輸入變化時經過驗證的行為仍然成立 | 範圍錯配:把流程當作性能來引用 | 工程負責人 | 按監測表做漂移監測,並設定明確的再驗證觸發條件;再寫明一條規則:觸發時估計值怎樣處理 |
| “Reviewed by clinicians”(譯文:經臨床醫生審閱) | 資助方材料、網站 | 一位外部臨床醫生在 2026 年 8 月審閱了第一階段(Phase 1)的範圍 | 一次範圍審閱,把應用場景收窄到單一病種。它不是對模型性能的審閱 | 誇大:把對範圍的審閱說成對系統的審閱 | 治理負責人 | 像部署前章程那樣,寫明這次審閱覆蓋了甚麼、沒覆蓋甚麼;或者取得獨立的臨床驗證,改為引用它 |
背景主張:項目對問題本身的說法
上面各行治理的,是系統將來會怎樣說自己。一個項目也會對它所針對的問題提出主張;這些主張失敗的方式相同,只是形式不同:把預期效果報告成結果,把一個人羣的數字拿去說另一個人羣,把估算寫成測量。從 v0.2 起,這份登記冊也收錄這些主張。Day Eleven 頁面上,凡是用數字或趨勢來描述這個問題,或描述項目所回應的這個時機的句子,在這裏都有一行,並附上來源,以及最近一次對照該來源核查的日期。
| 主張(原措辭) | 出現在哪裏 | 來源 | 來源支持甚麼 | 狀態 | 最近核查 |
|---|---|---|---|---|---|
| “in February 2025 the Hospital Authority announced that generative AI would draft medical reports in six public hospitals from the following month, with every report checked and authorized by a doctor”(譯文:2025 年 2 月,醫院管理局宣佈,從下個月起,六家公立醫院將用生成式 AI 起草醫療報告,每份報告都由醫生核對並核准) | Day Eleven | The Standard, 20 February 2025(醫院管理局行政總裁的記者會) | 這項宣佈、六家試點醫院、從下個月開始,以及每份報告都由醫生籤核 | 有依據(對官方宣佈的新聞報道)。用途是起草醫療報告,不是臨床決策 | 22 Oct 2026 |
| “the Government announced that the Chronic Disease Co-Care Pilot Scheme, which had passed 200,000 participants, would be regularised”(譯文:政府宣佈,參加人數已超過 200,000 的慢性疾病共同治理先導計劃將會常規化) | Day Eleven | HKSAR Government press release, 13 March 2026 | 截至 2026 年 1 月底,參加人數超過 200,000;2026 年 3 月 13 日宣佈常規化 | 有依據(官方數字) | 22 Oct 2026 |
| “launched a Primary Healthcare Co-care Network that aims to reach about 700,000 people in its first five years. It also said it would gradually invite suitable patients from Hospital Authority Family Medicine Clinics to join the network’s services”(譯文:並推出基層醫療共同治理網絡,目標是在頭五年覆蓋約 700,000 人。政府還表示,會逐步邀請醫院管理局家庭醫學診所的合適病人加入該網絡的服務) | Day Eleven | 同一份新聞稿 | 一個五年參與目標,以及一項已表明的政策意向 | 作為目標和意向有依據;不得改寫成已經達成 | 22 Oct 2026 |
| “the Hospital Authority cared for more than 658,000 people with diabetes in 2024, and … giving all of them continuous glucose monitors would overload healthcare staff with readings and add several billion dollars a year”(譯文:醫院管理局在 2024 年診治了超過 658,000 名糖尿病病人,而且……給他們所有人配連續血糖監測儀,會讓醫護人員被讀數壓垮,每年還要多花數十億元) | Day Eleven | Legislative Council reply (LCQ6), 16 July 2025 | 官方的病人人數,以及政府用自己的話說明的理由 | 有依據(官方陳述) | 22 Oct 2026 |
| “A person with diabetes might spend an hour or two a year in front of a clinician. For the more than eight thousand hours in between, they are alone with their questions”(譯文:一個糖尿病病人,一年裏在臨床醫生面前的時間可能是一兩個小時。中間那八千多個小時,他們獨自面對自己的問題) | Day Eleven,”Why it matters”(譯文:為甚麼重要) | 沒有單一來源。依據:醫院管理局普通科門診每次診症八分鐘的規劃參數(LegCo LCQ7, 2017);病情穩定的病人每年例行復診幾次(臨床醫生提供的資訊);以及與護士和專職醫療人員的接觸 | 一個數量級。第二個數字由第一個數字算出(一年有 8,760 小時) | 估算,不是測量數字。沒有找到已發表的、關於每名病人每年與臨床醫生接觸總時長的香港數字 | 22 Oct 2026 |
| “more of those questions now go to general-purpose AI assistants”(譯文:其中越來越多的問題,現在交給了通用 AI 助手) | Day Eleven,”Why it matters”(譯文:為甚麼重要) | KFF 對美國成年人的民調:17% 的人至少每月一次用 AI 聊天機器人獲取健康資訊和建議(2024);29% 的人至少每月一次用 AI 工具或聊天機器人獲取健康資訊和建議(June 2026) | 美國成年人中這一比例在上升;兩次民調的問題措辭略有不同 | 僅對美國有依據;沒有找到香港數據 | 22 Oct 2026 |
| “In most clinics no one would see it overnight”(譯文:在大多數診所,夜裏不會有人看到它) | Day Eleven,短片介紹 | Hospital Authority directory of Family Medicine Clinics(查閱日期:22 October 2026);Legislative Council reply (LCQ4), 25 April 2018 | 名錄列出的 77 家醫院管理局家庭醫學診所,沒有一家在晚上 10 點後應診;其中 24 家設夜間診症時段,到晚上 10 點結束。2018 年,政府告訴立法會,醫院管理局沒有計劃在深夜或通宵提供普通科門診服務 | 對公立家庭醫學診所有依據。私人診所方面,只有一位議員在 2018 年那項質詢中說,絕大多數私人診所不在深夜應診;沒有找到測量數字 | 22 Oct 2026 |
這些行是靠閱讀來源核實的,不是靠重新計算。這些句子中任何一句要在資助申請、論文稿件或新聞聲明裏再次使用,都要在當天重新核查來源。
差距分類
中間幾列是可以複用的部分。不論哪個領域,主張與證據脫節的方式都只有少數幾種,而且反覆出現;說出差距屬於哪一類,才能讓所需的修正具體化,而不只是籠統地叮囑一句要小心。
| 差距類型 | 表現形式 | 怎樣彌合 |
|---|---|---|
| 無依據 | 證據基礎裏沒有任何與這條主張相關的內容,常見於結局主張或獲益主張 | 做能回答它的那項研究,或刪掉這條主張 |
| 誇大 | 證據是真的,但被拉伸到收集它時所在的人羣、時間段、場景或終點之外 | 把措辭收窄到證據範圍內,或擴大證據 |
| 循環論證 | 主張由提出者自己設計的程序來驗證,用的對照也是提出者自己實現的 | 由外部定義的方案、已發表的對照,或與結果沒有利害關係的評估者 |
| 歸因不清 | 有東西變好了,但沒有任何東西能確定是哪個組件帶來的 | 能單獨分離出該組件的消融實驗或對照比較 |
| 亞組未經檢驗 | 拿一個彙總數字,當作關於其中每一個人的證據 | 預先設定的亞組報告,並規定最低樣本量 |
| 範圍錯配 | 把一個關於流程的事實,引作關於性能的事實的證據 | 關於性能的證據,而不是關於流程的證據 |
| 過時 | 證據對某個版本、隊列或時間段成立,但它們已不再適用 | 再驗證,或把主張改寫成限定於特定版本的說法 |
最難抓到的一種
七種類型裏有六種,仔細閱讀就能發現。循環論證不能,因為每一份文件單獨看都是自洽的。當同一方定義主張、設計評估、選擇對照、報告結果時,它就會出現;而它在文件層面看不見,恰恰是因為在文件層面甚麼都沒錯。
在醫療 AI 裏,它以熟悉的面目出現:評估方案由開發者撰寫;對照由開發者自己搭建,而不是公認的標準診療;回顧性隊列在看過結果之後才選定;閾值在報告它的同一份數據上選出。每一步單獨看都站得住腳。合在一起,得出的數字衡量的更多是測試的設計,而不是系統的性能。
結構性的控制不是讀得更仔細,而是這套治理包在其他所有地方都在用的同一種分離:交付一個組件的一方,不認證這個組件。對主張來說,這意味着評估方案和對照要在看到結果之前確定,並且由不對結果負責的人來定。如果安排不了這種分離,誠實的做法不是把話說得沒那麼肯定,而是在這份登記冊裏記下:這些證據由開發者控制,好讓後來的讀者據此掂量它的分量。
閱讀不等於核實
一個只讀過證據的人,也能把登記冊填得準確。有些行需要重新計算;我把這些行單獨列出,因為能抓到閱讀夠不着的缺陷的,正是它們:
- 重新計算主打指標:從報告的混淆矩陣或原始計數算起,再與正文裏的數字核對。
- 重新計算校準,不只是區分度;因為一個排序做得好的模型,在據以採取行動的閾值上,對絕對風險仍可能系統性地估錯。
- 按亞組重新劃分,不接受報告自己選擇展示的亞組;並記下哪些亞組的樣本量低於可用水平。
- 核查工作閾值,確認它就是報告該指標時所用的閾值,而且不是在同一份數據上選出來的。
我無法重新計算的地方,登記冊會寫明。靠閱讀核實的一行和靠重新計算核實的一行,是強度不同的證據;把兩者混為一談,正是這份文件要防止的那種錯誤。
設計原則
一條主張算是被治理了,是指項目對它打算就係統說出的每一句話,都能回答:這句話會出現在哪裏;為它引用了甚麼證據;這些證據實際支持甚麼(區別於它被引來支持甚麼);哪種差距類型把兩者隔開;誰負責彌合這個差距;以及在這句話可以使用之前,必須先有哪項具體的研究或核查。
任何主張在這裏有一行之前,都不會送到病人、資助方或監管機構面前,也不會進入論文稿件。沒有一行的主張,不是一個小小的文件缺口。它是一句沒有人被指定負責為它提供依據的陳述。
改了甚麼,為甚麼改
這一節長期保留;每次修訂都在這裏追加,而不是替換原有內容,好讓這個頁面可以被核查,而不只是被閱讀。
v0.1(2026 年 8 月 30 日)。首次發佈。有三行記錄為完全沒有支持證據;還有一行,把項目本可以真誠提出的一條主張(臨床醫生審閱過這個系統)降級為那次審閱實際覆蓋的內容。兩者都是有意的。一份主張登記冊,如果第一版就顯示每條主張都已有依據,這本身就是證據,說明它是寫來給人看的,而不是拿來用的。
v0.2(2026 年 10 月 22 日)。新增背景主張表,讓這個項目在公開場合對問題的說法,和它打算對系統的說法,受同樣的紀律約束。Day Eleven 頁面上有兩句話,從 9 月起就在頁面上,一直沒有來源,現在按實際狀態記錄:一句是估算,一句只對美國成年人有依據。第三句關於診所夜間有沒有人值守,沒有來源,也如實記錄為沒有來源。醫院管理局 2025 年關於生成式 AI 的宣佈,原本就在頁面上,現在連同來源一起記錄。
v0.2.1(2026 年 10 月 22 日,同一天稍晚)。關於診所夜間值守的那一行,幾小時前發佈時標為沒有來源,現在有了來源:醫院管理局 77 家家庭醫學診所的名錄(其中沒有一家在晚上 10 點後應診),以及一份 2018 年的立法會答覆。這些證據覆蓋公立診所;對私人診所,這一行記錄的是隻有一位議員的說法。上面 v0.2 的條目保留髮布時的原樣。
相關筆記:索引列出一個文件,並不是這個文件裏有任何內容的證據,把同一件工具往下用了一層,用在治理包聲稱持有的文件上。
引用資訊
| 字段 | 值 |
|---|---|
| 標題 | Claims and Evidence Register (project-derived, sanitized) |
| 作者 | Xiaoyan Qian |
| 公開頁面版本 | v0.2.1 |
| 發佈日期 | 2026-08-30 |
| 固定網址 | https://xiaoyanqian.com/artifacts/claims-evidence-register/ |
| 許可 | 保留所有權利 |
| 建議引用格式 | Qian, X. (2026). Claims and Evidence Register (project-derived, sanitized) (v0.2.1). https://xiaoyanqian.com/artifacts/claims-evidence-register/ |