情景推演治理案例
醫療流程中的智能體決策權
上市後決策狀態: 有條件批准
問題
一家醫院部署了一個醫療 AI 智能體:它讀取病人病歷、整理症狀、調用風險模型、生成臨床摘要,並建議下一步。開發團隊希望它能自動創建隨訪任務、通知病人、更新病歷的部分內容。決策權沒有清楚界定,這個智能體就會從輔助工具滑向未經授權的臨床決策者。
主要風險
- 智能體未經臨床醫生確認就修改臨床記錄。
- 錯誤或不完整的資訊被自動發送給病人。
- 調用的工具或數據超出授權範圍。
- 智能體之間的調用鏈讓責任軌跡變得模糊。
- 臨床醫生只看到最終輸出,無法還原智能體做過哪些動作。
治理機制
一張智能體決策權矩陣把每一個動作分成三類:
- 自主執行:檢索已授權的數據、整理資訊、生成草稿。
- 須經人工批准:更新正式病歷、向病人發送個性化的醫療資訊、創建臨床隨訪。
- 禁止:作出診斷、修改處方、取消治療、在最終決策中取代臨床醫生。
每一次工具調用都記錄智能體身份、輸入、所用工具、結果、批准人和時間戳。
| 智能體 | 允許 | 須經批准 | 禁止 | 最終負責人 |
|---|---|---|---|---|
| 數據檢索智能體 | 讀取已授權的數據 | 跨系統檢索 | 讀取未授權的數據 | 數據負責人 |
| 狀態估計智能體 | 生成風險估計 | 對外展示結果 | 出具正式診斷 | 臨床負責人 |
| 解釋智能體 | 起草解釋 | 發送給病人 | 聲稱確定的結局 | 醫務總監 |
RACI
執行(R):AI 產品負責人、臨床流程負責人。負責(A):臨床/醫務總監。諮詢(C):臨床醫生、護士、IT 安全、法務、數據保護官。知情(I):醫院管理層、病人、供應商、相關委員會。
審計證據
智能體權限登記冊、工具訪問配置、決策權矩陣、人工批准記錄、動作與工具調用日誌、病歷變更歷史、模型與提示詞版本、事件與推翻報告。
啓示
人在迴路不能只是一句口號。可執行的治理要寫清楚:哪個動作,在哪個環節,由哪一位具名的人批准;沒有批准時,系統如何停下。智能體越自主,權限設計和可審計性就必須越精細。