項目衍生 · 部署前 · 已脫敏

智能體風險控制矩陣(項目衍生,已脫敏)

把 AI 智能體可能造成傷害的每一種方式,落實為一項明確命名的控制、一項證明該控制有效的測試、一個監測信號和一條審計證據記錄。承諾一個智能體是安全的,和能拿出證據證明它安全,區別就在這裏。

這份文件的用途

智能體登記冊回答的是有哪些智能體、各由誰負責。這個矩陣回答接下來的問題:對智能體可能造成傷害的每一種方式,用甚麼控制來防止,這項控制怎樣測試,證明它守住了的證據又在哪裏。

需要它,是因為智能體 AI 的治理正在從自願承諾(「我們會負責任地使用智能體」)轉向制度化的控制:逐一命名的風險、明確界定的控制、部署前測試與持續測試、監測信號,以及審查者可以檢查的審計軌跡。這份文件就是這一轉變在項目層面的版本。每一行是一個風險,而不是一個智能體,因為同一個風險(例如未經人工批准就行動)適用於多個智能體。

它取自我正在 HKU-Avnet Joint AI Laboratory(港大與安富利的聯合 AI 實驗室)構建的面向病人的醫療數字孿生,出自它的治理包(v0.2)。它與同一治理包裏的智能體登記冊配套:登記冊規定每個智能體的權限層級;這個矩陣規定這一層級所隱含的邊界怎樣執行、怎樣留下證據。這份文件已脫敏,表中各行是一個示意性的部署前示例,用來演練這套結構。

固定元數據

字段 值
項目階段 孵化 / 部署前
範圍 面向病人的智能體流程中,逐個風險的控制:控制、控制類型、測試、監測信號、審計證據、負責人
審批負責人 AI 治理負責人
來源治理包版本 v0.2
最後更新 2026 年 8 月
已知侷限 部署前示例:控制和測試用來演練這套結構;負責人只到角色層面,測試是部署前的;在任何外部試點之前,測試要實際運行,負責人要落實到具名個人

每一行怎樣讀

對每一個智能體風險,矩陣記錄:一項控制(限制該風險的機制);一個控制類型(預防性、發現性或糾正性);一項測試(我們怎樣檢查這項控制確實有效,部署前要做,有變更時也要做);一個監測信號(如果控制正在失效,監測面板上會顯示甚麼);一條審計證據記錄(審查者可以檢查甚麼);以及一位具名的負責人。

風險控制矩陣

智能體風險 控制 類型 測試 / 保證 監測信號 審計證據 負責人
未經必需的人工批准就行動 硬性審批關口:在一位具名人員批准這一次操作之前,操作無法執行 預防性 在未獲批准時嘗試執行操作,確認被攔截;每次提示詞/模型變更後都重新測試 沒有批准記錄就被執行的操作(目標:零) 審批日誌,含批准人、時間戳、操作標識 治理負責人
訪問受保護健康資訊(PHI)超出最小必要範圍 限定範圍、只讀、按字段和用途限制的憑證 預防性 請求範圍外的字段,確認被拒絕;每季度審查一次訪問權限 越界訪問嘗試;實際讀取的 PHI 字段與基線的對比 訪問日誌、憑證範圍、季度審查記錄 數據治理負責人
在獲批系統之外保留病人記憶 記憶僅限會話內;強制執行保留期限;未經批准不得再用於訓練 預防性 + 發現性 檢查記憶存儲中有無違反政策的保留;核實保留計時器能讓記錄按期失效 超出保留期限的記錄 保留配置、記憶存儲的審計導出 數據治理負責人
超出所聲明的權限層級運行 在配置中強制執行層級;提升層級須先更新登記冊並重新審查 預防性 嘗試超出層級的操作,確認被攔截;把運行中的配置與登記冊逐項比對 任何映射到所聲明層級上限以上的操作 配置與登記冊的差異比對、變更控制記錄 治理負責人 + 工程負責人
出現嚴重安全觸發條件後仍繼續運行 達到既定觸發條件即自動暫停;由指定角色掌握的手動緊急停止開關 糾正性 在預發佈環境中觸發一次測試條件;確認在目標時間內暫停;定期演練 從觸發到暫停的時間;暫停失敗的情況 事件日誌、含計時的緊急停止開關演練記錄 臨床安全負責人 + IT 安全
不確定性高時仍產生面向病人的輸出 不確定性閾值攔截輸出,並轉給人工複核 預防性 輸入高不確定性的案例,確認被攔截或轉交;校準閾值 高不確定性輸出中被放行與被攔截的對比 閾值配置、被攔截輸出日誌、複核交接記錄 醫療總監
從已獲知情同意的用途越界到無關的推斷 針對具體任務的護欄,把範圍限定在已驗證的領域 預防性 + 發現性 用偏離用途的提示詞做紅隊測試;確認拒答;抽樣檢查輸出有無範圍漂移 超範圍請求比例;被標記的跨域輸出 護欄策略、紅隊測試報告、抽樣審查記錄 治理負責人
事後無法還原操作(沒有審計軌跡) 每一次操作都強制記錄輸入、決策、批准和輸出 發現性 核實每一類操作都會生成完整、篡改可察覺的日誌條目 日誌完整的操作所佔比例(目標:100%) 日誌完整性報告、一條端到端的操作追蹤記錄 IT 安全

關口設多嚴:為甚麼有些操作要攔下,有些只抽查

上面的矩陣說明了每項控制是甚麼。這一節回答審查者接下來會問的問題:如果智能體的每個操作都要人簽字,這個系統就毫無用處;如果一個都不用,每一次出錯的代價都會落在病人身上。那麼,界線劃在哪裏?

起決定作用的,不是執行者是不是 AI,而是這個操作有多容易撤回。

操作類別 能撤回嗎? 關口是甚麼樣子
內部讀取,或從不發出的草稿 能,它不改變系統之外的任何東西 事後抽樣審查,不需要事先批准
預約排程草稿或非臨床通知 短時間內能,在有人據此行動之前還可以更正 發出前須經批准;對明確界定的低風險類別,允許常設批准
面向病人的臨床內容 不能,病人讀過之後就撤不回了 逐次批准,輸入、版本、不確定性和批准人全部記錄在案
付款、數據離開系統、權限變更、寫入病歷 不能 由一位具名、對此負責的人逐次批准,或者直接禁止

由此得出兩條規則。一個操作要過關口,是因為它沒法低成本地撤銷,所以每道關口的理由都可以記錄下來,也可以被質疑。另外,能否撤回不清楚的操作,在證明可以撤回之前一律按不可撤回處理;這樣拿不準時預設攔下,而不是預設放行。

設計原則

寫下來卻從沒測試過的控制不是控制,只是一種希望。這個矩陣要有意義,每項控制都必須有:一項測試,部署前運行,發生實質性變更時重複運行;一個監測信號,讓失效在監測面板上就能看見,而不是等到事件發生時才被發現;一條審計證據記錄,審查者不必聽信團隊的說法就能檢查。

這就是這份文件反映的轉變:從承諾智能體會表現良好,到拿出證據證明它表現良好。自願式的保證說的是「我們很謹慎」。制度化的控制說的是「關口在這裏,證明關口守得住的測試在這裏,盯着它的監測面板在這裏,證明它在這一天守住了的日誌也在這裏」。

相關筆記:從承諾到證據:制度化的智能體治理真正要求的是甚麼。

引用資訊
字段 值
標題 Agent Risk-Control Matrix (project-derived, sanitized)
作者 Xiaoyan Qian
公開頁面版本 v0.2
發佈日期 2026-08-03
固定網址 https://xiaoyanqian.com/artifacts/agent-risk-control-matrix/
許可 保留所有權利
建議引用格式 Qian, X. (2026). Agent Risk-Control Matrix (project-derived, sanitized) (v0.2). https://xiaoyanqian.com/artifacts/agent-risk-control-matrix/