情景推演治理案例
面向病人的聊天机器人:知情同意与安全治理
上市后决策状态: 有条件批准
问题
一家医疗机构推出了一个面向病人的聊天机器人,用于症状咨询、复诊准备和一般健康信息。一些病人以为它是正式的医疗服务,根据它的回答停了药,或推迟了就医。
主要风险
- 知情同意:病人不知道自己在和 AI 交流。
- 临床安全:建议过于笃定,或不恰当。
- 隐私:病人主动透露敏感的病史、用药和心理健康信息。
- 升级:急症症状没有转给真人工作人员。
- 弱势用户:老年病人、未成年人和健康素养较低的用户,会高估系统的权威。
治理机制
- 首次使用前,一份分层的知情同意告知会说明 AI 的身份、用途、局限、数据处理方式、退出权利和人工支持渠道。
- 聊天机器人不得给出确定性诊断或停药指示,也不得把自己表现为可以替代临床医生。
- 危险信号(胸痛、中风征象、自杀意念、严重过敏反应)一旦出现,常规对话即停止,并立即升级,转交真人工作人员。
- 高风险输出附带固定的安全提示;所有交互、警报和人工接管时间都记入日志。
RACI
执行(R):临床安全负责人(安全规则);IT 与供应商(知情同意流程、危险信号触发器、日志、升级)。负责(A):临床治理委员会。咨询(C):医生、护士、法务与合规、数据保护官、病人代表、无障碍专家。知情(I):病人、医院管理层、一线团队。
审计证据
知情同意告知的各个版本、病人确认记录、隐私告知、提示词与输出日志、危险信号触发记录、升级时间戳、人工接管记录、投诉、安全测试报告、每月事件审查。
启示
核心问题不是聊天机器人能回答多少问题,而是病人是否清楚地知道它不是医生。有效的知情同意必须改变系统的行为,而不只是在开场页面上出现一次。系统遇到高风险症状时,最重要的能力是停下来,交给人。