情景推演治理案例
臨床 AI 的人工推翻與審計日誌
上市後決策狀態: 有條件批准
問題
一家醫院部署了一個臨床 AI,用來標記高風險病人、輔助排定優先次序。系統名義上包含人在迴路的複核,但臨床醫生只看得到 AI 的結論,看不到模型輸入、置信度分數、版本歷史、觸發規則,也看不到過往的推翻記錄。一旦出了問題,根本無法分辨失誤出在 AI、臨床醫生、流程,還是一條從未被設計過的責任邊界上。
主要風險
- 複核流於形式,而不是建立在充分資訊之上:臨床醫生缺少作出真正判斷所需的資訊。
- 過度依賴 AI 建議帶來的自動化偏差。
- 推翻沒有記錄,事後審計就無從做起。
- 臨床醫生推翻了 AI 而結果不好時,責任不清。
- 版本變更抹掉了還原過往病例所需的決策語境。
治理機制
一套人工推翻與審計日誌規程:
- 每一個 AI 輸出都顯示模型版本、輸入時間戳、置信度或不確定性、主要觸發因素和建議動作。
- 每一次推翻都記錄一個原因代碼(數據缺失、與臨床情境不符、病人意願、輸出不安全)。
- 高風險的推翻需要二次複核或臨床安全審查。
- 定期分析推翻模式,區分模型問題、流程問題和培訓問題。
- 審計日誌做到篡改可察覺,並與事件響應 SOP 關聯。
RACI
執行(R):臨床流程負責人、AI 產品負責人、醫院 IT。負責(A):臨床/醫務總監。諮詢(C):臨床醫生、護理負責人、法務與合規、數據保護官、供應商。知情(I):質素與安全委員會、醫院管理層,以及發生嚴重事件時的監管機構。
審計證據
AI 輸出日誌、模型版本歷史、推翻記錄與原因代碼、臨床複核記錄、用戶訪問日誌、事件升級記錄、每月推翻分析、變更審批記錄、臨床醫生培訓記錄。
啓示
推翻日誌不是為了懲罰臨床醫生,而是讓機構看清 AI 在哪裏不可靠。好的臨床 AI 治理同時保護三方:病人得到安全,臨床醫生得到真正的判斷依據,機構得到一條可審計的證據鏈。