情景推演治理案例
臨床部署中的醫療 AI 模型漂移
上市後決策狀態: 有條件批准
問題
一個用於篩查高風險病人的醫療 AI 模型,在試點階段表現良好。部署六個月後,臨床數據分佈發生偏移,靈敏度從 88% 降到 70%。每月漏診病例從 2 例增至 5 例。臨床團隊起初沒當回事,只當是「提醒沒那麼準了」。
主要風險
- 病人安全:假陰性增多,延誤診斷和治療。
- 臨床問責:臨床醫生不知道該不該信任 AI,出事後的責任也不清楚。
- 模型治理:部署後既沒有漂移監測閾值,也沒有暫停機制。
- 信任:假陰性和誤報不斷增加,侵蝕臨床醫生的信任,直到系統被置之不理。
- 監管與審計:醫院無法向管理層或監管機構證明自己在持續監督。
治理機制
- 部署後監測:每月跟蹤靈敏度、特異度、陽性預測值、陰性預測值、假陰性數、警報量和亞組表現。
- 升級閾值:靈敏度低於 80%、漏診病例超過基線的兩倍,或出現顯著的亞組退化,都會觸發事件審查。
- 審查結論出來之前,模型降級為「僅供參考」、加上警示標籤,或暫停高風險的自動警報。
- 由臨床負責人和 AI 治理委員會共同決定:重新校準、重新訓練、收窄範圍,還是暫停使用。
- 所有版本更新、閾值突破和決定,都構成審計軌跡。
RACI
執行(R):數據科學/MLOps 團隊(指標、漂移分析、版本記錄)。負責(A):臨床負責人和 AI 治理委員會。諮詢(C):一線臨床醫生、護士、產品、法務、供應商。知情(I):醫院管理層、受影響的科室,以及在需要時的監管機構或倫理委員會。
審計證據
每月性能看板、漂移報告、閾值突破日誌、事件審查會議紀要、模型版本日誌、臨床籤核記錄、風險登記冊更新、決策備忘錄、用戶溝通通知。
啓示
醫療 AI 的可靠性不是一次性的準確率,而是部署之後,系統能否被持續監測、被正確地升級上報、有明確的負責人。模型漂移不是技術上的小麻煩;它是病人安全問題,也是機構的責任問題。