情景推演治理案例

診前流程中大型語言模型分診的風險與升級處理

上市後決策狀態: 有條件批准

問題

一家診所在就診前用大型語言模型(LLM)分診聊天機器人收集症狀和病史,把病人分為低風險、常規或緊急複核。LLM 可能低估危急症狀、漏掉危險信號,或用過於安撫的語言讓病人推遲就醫。治理的重點不是聊天機器人答得好不好,而是在甚麼條件下它必須停止回答、升級(轉交醫生處理)。

主要風險

治理機制

  1. LLM 只作為診前資訊收集與風險標記工具;它不提供診斷,也不提供醫療建議。
  2. 危險信號升級規則(胸痛、呼吸困難、中風徵象、嚴重過敏、妊娠急症、自殺意念、兒童高熱):一旦觸發,常規對話停止,顯示緊急建議,並通知臨床人員。
  3. 所有分診輸出都標註不確定性等級,並顯示「AI 生成的分診摘要,須經臨床醫生複核」。
  4. 每月審計假陰性、投訴、推翻率、危險信號觸發的準確率,以及升級響應時間。

RACI

執行(R):臨床安全負責人(危險信號與升級規程);IT 與供應商(觸發器、日誌、警報路由)。負責(A):臨床治理委員會。諮詢(C):一線臨床醫生、護士、法務與合規、數據保護官、病人代表、醫療責任保障顧問。知情(I):病人、診所管理層、臨床團隊。

審計證據

危險信號規則清單、臨床驗證記錄、分診日誌、病人輸入的文字記錄、AI 風險分類、升級時間戳、工作人員確認收到的記錄、臨床醫生的最終評估、推翻日誌、每月假陰性審查、事件報告。

啓示

在臨床場景裏,最危險的輸出不是「我不知道」,而是用流暢的語言低估了一個危急病情。安全的分診系統,核心能力是知道甚麼時候該停止回答、交給人來處理。