情景推演治理案例

面向病人的聊天機器人:知情同意與安全治理

上市後決策狀態: 有條件批准

問題

一家醫療機構推出了一個面向病人的聊天機器人,用於症狀諮詢、覆診準備和一般健康資訊。一些病人以為它是正式的醫療服務,根據它的回答停了藥,或推遲了就醫。

主要風險

治理機制

  1. 首次使用前,一份分層的知情同意告知會說明 AI 的身份、用途、侷限、數據處理方式、退出權利和人工支援渠道。
  2. 聊天機器人不得給出確定性診斷或停藥指示,也不得把自己表現為可以替代臨床醫生。
  3. 危險信號(胸痛、中風徵象、自殺意念、嚴重過敏反應)一旦出現,常規對話即停止,並立即升級,轉交真人工作人員。
  4. 高風險輸出附帶固定的安全提示;所有交互、警報和人工接管時間都記入日誌。

RACI

執行(R):臨床安全負責人(安全規則);IT 與供應商(知情同意流程、危險信號觸發器、日誌、升級)。負責(A):臨床治理委員會。諮詢(C):醫生、護士、法務與合規、數據保護官、病人代表、無障礙專家。知情(I):病人、醫院管理層、一線團隊。

審計證據

知情同意告知的各個版本、病人確認記錄、隱私告知、提示詞與輸出日誌、危險信號觸發記錄、升級時間戳、人工接管記錄、投訴、安全測試報告、每月事件審查。

啓示

核心問題不是聊天機器人能回答多少問題,而是病人是否清楚地知道它不是醫生。有效的知情同意必須改變系統的行為,而不只是在開場頁面上出現一次。系統遇到高風險症狀時,最重要的能力是停下來,交給人。