情景推演治理案例
診前流程中大型語言模型分診的風險與升級處理
上市後決策狀態: 有條件批准
問題
一家診所在就診前用大型語言模型(LLM)分診聊天機器人收集症狀和病史,把病人分為低風險、常規或緊急複核。LLM 可能低估危急症狀、漏掉危險信號,或用過於安撫的語言讓病人推遲就醫。治理的重點不是聊天機器人答得好不好,而是在甚麼條件下它必須停止回答、升級(轉交醫生處理)。
主要風險
- 假陰性分診:高風險病人被分為常規或低風險。
- 過度安撫:篤定的語氣讓病人以為自己不必看醫生。
- 責任邊界:病人以為自己得到了醫療判斷,診所卻只把它當作診前支援。
- 升級失敗:識別出了胸痛、中風徵象或自殺意念,卻沒有轉給人處理。
- 可審計性:出事之後,無法還原問了甚麼、答了甚麼、分成了哪一類、發出了甚麼警報。
治理機制
- LLM 只作為診前資訊收集與風險標記工具;它不提供診斷,也不提供醫療建議。
- 危險信號升級規則(胸痛、呼吸困難、中風徵象、嚴重過敏、妊娠急症、自殺意念、兒童高熱):一旦觸發,常規對話停止,顯示緊急建議,並通知臨床人員。
- 所有分診輸出都標註不確定性等級,並顯示「AI 生成的分診摘要,須經臨床醫生複核」。
- 每月審計假陰性、投訴、推翻率、危險信號觸發的準確率,以及升級響應時間。
RACI
執行(R):臨床安全負責人(危險信號與升級規程);IT 與供應商(觸發器、日誌、警報路由)。負責(A):臨床治理委員會。諮詢(C):一線臨床醫生、護士、法務與合規、數據保護官、病人代表、醫療責任保障顧問。知情(I):病人、診所管理層、臨床團隊。
審計證據
危險信號規則清單、臨床驗證記錄、分診日誌、病人輸入的文字記錄、AI 風險分類、升級時間戳、工作人員確認收到的記錄、臨床醫生的最終評估、推翻日誌、每月假陰性審查、事件報告。
啓示
在臨床場景裏,最危險的輸出不是「我不知道」,而是用流暢的語言低估了一個危急病情。安全的分診系統,核心能力是知道甚麼時候該停止回答、交給人來處理。