筆記
簡短的治理筆記。每篇只取一個技術問題,把它翻譯成治理語言:風險是甚麼,誰來負責,實際上會怎樣部署。每篇都為講清楚一個想法而寫,把技術工作變成別人能跟上、也能複用的治理推理。
-
2026 年 9 月 2 日
醫療 AI 的評估幾乎完全看它的回答對不對。這個指標對真正到達病人的那種失敗一言不發:那種失敗不是答錯,而是對一個系統根本沒有資格回答的問題,給出流暢又有幫助的回答。這篇筆記寫下我構建時所依據的立場:拒答、升級(轉交醫生處理)和記錄的持久性,不是包在臨床系統外面的一層安全包裝,而是系統邊界的一部分;而且一次拒答只有留下臨床醫生幾個月後還能打開的證據,才有價值。筆記也直說難在哪裏:難的不是這個想法,而是它底下的分類體系、閾值、記錄結構和臨床准入。
-
2026 年 8 月 28 日
我對自己的醫療 AI 治理包做了一次編號審計,本以為會找到過時的交叉引用。一個也沒有。審計反而發現了另一件事,而且只是因為它迫使我打開每一份登記在冊的文件才發現:其中七份裝的並不是它們登記的那份文件,兩份成了日積月累的工作筆記,五份是空文件。治理包其他地方有兩條主張依賴這些文件,因此是假的,其中包括一行自我評估:它被標為「已覆蓋」(Covered),憑的卻是一份並不以所聲稱形式存在的文件。牽涉更廣的那個發現更糟,也更有用:治理包裏沒有一份文件有指定的批准人,所以每一份文件都由同一個人撰寫、負責、批准。這篇筆記講的是方法,不是懺悔,因為這項檢查可以推廣:存在不等於有內容;從沒往不利方向變動過的登記冊,就是沒有人在檢查的登記冊。
-
2026 年 8 月 7 日
金融穩定理事會(FSB)把第三方提供商集中度和市場相關性,列為金融業中最可能演變為系統性風險的 AI 脆弱性中的兩項;它 2026 年就穩健做法發起的徵求意見,正在把這一關切從監測推向期望機構遵循的做法。從醫院這一側讀,這暴露了我已經在做的供應商依賴圖裏的一個盲點:逐個機構的審查可以做得誠實、做得好,卻仍然看不見許多機構悄悄依賴同一個模型、同一個雲服務或同一種芯片的風險。金融的框架不只是讓我的這門功夫得以遷移。它還反過來給了我一欄,是我只針對醫院的版本所缺的。
-
2026 年 8 月 7 日
經合組織(OECD)的 AI Incidents and Hazards Monitor 追蹤已報告的 AI 傷害,並按行業分類;政府、安全與國防是一個反覆出現的類別,從官方機構用 AI 生成的材料在公眾面前出錯,到 AI 生成的法律建議加重一個國家社會法院的負擔。在我的臨床 AI 工作裏,我常常既是構建者,又在很大程度上充當着那道判定系統安全的控制;這之所以還能接受,部分是因為有臨床醫生居中把關輸出,而且病人在場。當部署方握有的是對公民的公權力,而這些公民不在場、沒有同意、往往也不知道 AI 參與其中時,自我認證就不再夠用。從承諾到證據這門功夫仍然可以遷移,但證據現在必須為部署機關之外的人出具。
-
2026 年 7 月 27 日
Google DeepMind 發佈了它在生物韌性上的做法:用 AI 加強對生物威脅的防禦,同時公開承認,同樣的前沿模型也可能降低生物濫用的門檻。對治理面向病人的醫療 AI 的人來說,有用的部分不是生物安全這個頭條,而是問責幾何的一次翻轉:面向病人的治理保護的是系統面前的那個人,兩用治理卻必須保護那些離系統很遠的人。這篇筆記講清楚這次翻轉為甚麼會改變哪些保障措施才算數,以及為甚麼具備生物學能力的模型,其部署保障措施不能只是臨床式的護欄。
-
2026 年 7 月 27 日
2026 年以來,美國一批州相繼立法,規範醫療保險公司在事先授權和理賠中使用 AI,並匯聚到同一條規則上:AI 可以輔助,但不能成為拒絕醫療的唯一依據,不利決定必須由持牌專業人員作出。大多數醫療 AI 治理,包括我自己的大部分工作,關心的是系統面前那位病人所得醫療的質素與安全。這些法律治理的是另一件事:可及性。它們提出的有用問題是,法律要求的人工監督是真的,還是橡皮圖章;而這原來是同一個從承諾到證據的問題,只是現在落在可及性這條軸上。
-
2026 年 7 月 23 日
智能體 AI 的治理正在從自願承諾走向制度化的控制,各國的 AI 安全機構正在把測試協議和操作指引正式確立下來。這個轉變帶來的實際問題很窄,也答得出來:智能體每一種可能造成傷害的方式,證明它已受控的測試在哪裏,證明控制守住了的日誌又在哪裏。這篇筆記逐項講解我為回答這個問題而構建的智能體風險控制矩陣。
-
2026 年 7 月 22 日
歐盟科技事務負責人 Henna Virkkunen 對 Financial Times 表示,AI 已經成為一種地緣政治武器,並舉了華盛頓 6 月以出口管制短暫切斷 Anthropic 模型一事為例。對醫療 AI 來說,這個警告落到實處,就是一個醫院很少寫進風險登記冊的治理問題:一個面向病人的系統所依賴的境外模型,如果因為與臨床表現毫無關係的原因而無法再使用,這個系統會怎樣?
-
2026 年 7 月 19 日
醫療 AI 通常在哪裏開發,就在哪裏驗證。但模型學習用的樣本,不是它將被部署進去的那個世界;兩者之間的差距是治理問題,不是技術上的腳註。
-
2026 年 7 月 19 日
上線時通過驗證的模型,可能隨着病人、設備和工作流程的變化而悄悄退化。世界在變,模型卻不會跟着變,除非有人讓它變。
-
2026 年 7 月 19 日
一個能找出 90% 病人的癌症篩查模型,拿去部署仍可能是一筆不划算的押注。治理要問的不是它有多準,而是它出錯的代價是甚麼、由誰承擔,以及它發生漂移時有沒有人會察覺。
-
2026 年 7 月 19 日
如果前後對比證明不了醫療 AI 有效,那甚麼能證明?靠對照:對照組、自然實驗,或者雙重差分設計,把 AI 的效果從其他所有變化中分離出來。
-
2026 年 7 月 19 日
醫療 AI 上線後,結果常常看起來更好了。但「之後更好」不等於「因此更好」。把兩者混為一談,系統就領走了本不該歸它的功勞。
-
2026 年 7 月 19 日
平均表現是一個讓人安心的數字,也是不公平藏身的地方。醫療 AI 可以讓總體變好,同時對最承受不起的病人悄悄變差。
-
2026 年 7 月 19 日
多數醫療 AI 輸出的是風險評分,再由某個人劃一條線:高於這條線就行動,低於就不行動。這條線在悄無聲息地分配誤報、漏診、成本和責任。決定線劃在哪裏,是治理,不是工程。
-
2026 年 7 月 19 日
醫療 AI 可以把病人的風險高低排得很準,給出的概率卻仍然可能是錯的。如果「80% 風險」並不代表 100 個類似病人裏大約有 80 個會發生所預測的事件,那麼臨床醫生和病人不是在獲得資訊,而是在被帶偏。