情景推演治理案例

醫療流程中的智能體決策權

上市後決策狀態: 有條件批准

問題

一家醫院部署了一個醫療 AI 智能體:它讀取病人病歷、整理症狀、調用風險模型、生成臨床摘要,並建議下一步。開發團隊希望它能自動創建隨訪任務、通知病人、更新病歷的部分內容。決策權沒有清楚界定,這個智能體就會從輔助工具滑向未經授權的臨床決策者。

主要風險

治理機制

一張智能體決策權矩陣把每一個動作分成三類:

每一次工具調用都記錄智能體身份、輸入、所用工具、結果、批准人和時間戳。

智能體 允許 須經批准 禁止 最終負責人
數據檢索智能體 讀取已授權的數據 跨系統檢索 讀取未授權的數據 數據負責人
狀態估計智能體 生成風險估計 對外展示結果 出具正式診斷 臨床負責人
解釋智能體 起草解釋 發送給病人 聲稱確定的結局 醫務總監

RACI

執行(R):AI 產品負責人、臨床流程負責人。負責(A):臨床/醫務總監。諮詢(C):臨床醫生、護士、IT 安全、法務、數據保護官。知情(I):醫院管理層、病人、供應商、相關委員會。

審計證據

智能體權限登記冊、工具訪問配置、決策權矩陣、人工批准記錄、動作與工具調用日誌、病歷變更歷史、模型與提示詞版本、事件與推翻報告。

啓示

人在迴路不能只是一句口號。可執行的治理要寫清楚:哪個動作,在哪個環節,由哪一位具名的人批准;沒有批准時,系統如何停下。智能體越自主,權限設計和可審計性就必須越精細。