情景推演治理案例

面向病人的聊天机器人:知情同意与安全治理

上市后决策状态: 有条件批准

问题

一家医疗机构推出了一个面向病人的聊天机器人,用于症状咨询、复诊准备和一般健康信息。一些病人以为它是正式的医疗服务,根据它的回答停了药,或推迟了就医。

主要风险

治理机制

  1. 首次使用前,一份分层的知情同意告知会说明 AI 的身份、用途、局限、数据处理方式、退出权利和人工支持渠道。
  2. 聊天机器人不得给出确定性诊断或停药指示,也不得把自己表现为可以替代临床医生。
  3. 危险信号(胸痛、中风征象、自杀意念、严重过敏反应)一旦出现,常规对话即停止,并立即升级,转交真人工作人员。
  4. 高风险输出附带固定的安全提示;所有交互、警报和人工接管时间都记入日志。

RACI

执行(R):临床安全负责人(安全规则);IT 与供应商(知情同意流程、危险信号触发器、日志、升级)。负责(A):临床治理委员会。咨询(C):医生、护士、法务与合规、数据保护官、病人代表、无障碍专家。知情(I):病人、医院管理层、一线团队。

审计证据

知情同意告知的各个版本、病人确认记录、隐私告知、提示词与输出日志、危险信号触发记录、升级时间戳、人工接管记录、投诉、安全测试报告、每月事件审查。

启示

核心问题不是聊天机器人能回答多少问题,而是病人是否清楚地知道它不是医生。有效的知情同意必须改变系统的行为,而不只是在开场页面上出现一次。系统遇到高风险症状时,最重要的能力是停下来,交给人。