情景推演治理案例

臨床 AI 的人工推翻與審計日誌

上市後決策狀態: 有條件批准

問題

一家醫院部署了一個臨床 AI,用來標記高風險病人、輔助排定優先次序。系統名義上包含人在迴路的複核,但臨床醫生只看得到 AI 的結論,看不到模型輸入、置信度分數、版本歷史、觸發規則,也看不到過往的推翻記錄。一旦出了問題,根本無法分辨失誤出在 AI、臨床醫生、流程,還是一條從未被設計過的責任邊界上。

主要風險

治理機制

一套人工推翻與審計日誌規程:

  1. 每一個 AI 輸出都顯示模型版本、輸入時間戳、置信度或不確定性、主要觸發因素和建議動作。
  2. 每一次推翻都記錄一個原因代碼(數據缺失、與臨床情境不符、病人意願、輸出不安全)。
  3. 高風險的推翻需要二次複核或臨床安全審查。
  4. 定期分析推翻模式,區分模型問題、流程問題和培訓問題。
  5. 審計日誌做到篡改可察覺,並與事件響應 SOP 關聯。

RACI

執行(R):臨床流程負責人、AI 產品負責人、醫院 IT。負責(A):臨床/醫務總監。諮詢(C):臨床醫生、護理負責人、法務與合規、數據保護官、供應商。知情(I):質素與安全委員會、醫院管理層,以及發生嚴重事件時的監管機構。

審計證據

AI 輸出日誌、模型版本歷史、推翻記錄與原因代碼、臨床複核記錄、用戶訪問日誌、事件升級記錄、每月推翻分析、變更審批記錄、臨床醫生培訓記錄。

啓示

推翻日誌不是為了懲罰臨床醫生,而是讓機構看清 AI 在哪裏不可靠。好的臨床 AI 治理同時保護三方:病人得到安全,臨床醫生得到真正的判斷依據,機構得到一條可審計的證據鏈。