2026 年 7 月 23 日
從承諾到證據:制度化的智能體治理真正要求的是甚麼
智能體的治理方式正在發生一個安靜但重要的變化。早期的說法是自願性的:各機構承諾會「負責任地」(responsibly)使用智能體。現在的方向,從各國 AI 安全機構把測試協議和操作指引正式確立下來的方式就看得出來,是走向制度化的控制:逐一命名的風險、界定清楚的控制、部署前測試和持續測試、受監測的信號,以及審查者可以檢查的審計軌跡。問題不再是「你承諾會小心嗎?」,而是「給我看證明這一點的測試,和證明它守住了的日誌」。
我不打算用這篇筆記來總結政策趨勢。更有用、也更難的,是展示當你真的想在一個系統上落實這個趨勢時,它是甚麼樣子。所以這篇筆記圍繞一個工具展開:我為自己正在開發的面向病人的醫療數字孿生構建的智能體風險控制矩陣。
為甚麼光有登記冊不夠。 在同一個治理包裏,我維護着一份智能體登記冊,列出每一個智能體、它的負責人、它的受保護健康資訊(PHI)邊界和它的權限等級。它回答的是存在甚麼和誰負責。審計人員或安全監管機構真正會問的問題,它回答不了:針對這一項具體風險,控制在哪裏,你又怎樣知道它有效?登記冊是一份名冊。制度化的治理需要的是證明。
讓它管用的一步:按風險組織,而不是按智能體組織。 這個矩陣每一行是一項風險,而不是一個智能體,因為同一項風險(未經人工批准就行動、超出範圍訪問 PHI、保留不該保留的記憶、安全觸發之後仍繼續運行)會在許多智能體身上反覆出現。對每一項風險,它記錄五樣東西:
- 控制(限制這項風險的機制);
- 控制類型(預防性、檢測性或糾正性);
- 測試(部署前怎樣檢查這項控制,以及每次模型、提示詞、工具或 PHI 範圍變更時怎樣重新檢查);
- 受監測的信號(控制正在失效時儀表盤上會顯示甚麼,讓失效在事件發生之前就被看見,而不是在事件當中);
- 審計證據記錄(審查者不必聽信團隊一面之詞就能檢查的日誌或文件)。
最後這一欄就是全部要點所在。「面向病人的操作,我們都要求人工批准」是一個承諾。「這是審批關口;這是部署前測試,它顯示未經批准的操作會被攔下;這是儀表盤上會標記繞過行為的指標;這是審批日誌,記有審批人、時間戳和操作編號」是證據。這個矩陣,就是把第一句話變成第二句話的結構。
這和我這周早些時候寫的東西是連着的。 在之前一篇筆記裏,我談模型與雲依賴,底層的那一步是一樣的:一個你希望它安全的依賴,只有在有了具名負責人和書面的回退方案之後,才算受到治理。在這裏,一個你承諾它安全的智能體,只有在每一項風險都有測試和證據軌跡之後,才算受到治理。兩者是同一個轉變說了兩遍:從承諾到證據。醫療 AI 治理要去的方向,與其說是哪一項具體法規,不如說是這個。能應付它的機構,是那些能交給審查者的不是一紙承諾,而是一道關口、一項測試、一個儀表盤和一份日誌的機構。