情景推演治理案例
诊前流程中大语言模型分诊的风险与升级处理
上市后决策状态: 有条件批准
问题
一家诊所在就诊前用大语言模型(LLM)分诊聊天机器人收集症状和病史,把病人分为低风险、常规或紧急复核。LLM 可能低估危急症状、漏掉危险信号,或用过于安抚的语言让病人推迟就医。治理的重点不是聊天机器人答得好不好,而是在什么条件下它必须停止回答、升级(转交医生处理)。
主要风险
- 假阴性分诊:高风险病人被分为常规或低风险。
- 过度安抚:笃定的语气让病人以为自己不必看医生。
- 责任边界:病人以为自己得到了医疗判断,诊所却只把它当作诊前支持。
- 升级失败:识别出了胸痛、中风征象或自杀意念,却没有转给人处理。
- 可审计性:出事之后,无法还原问了什么、答了什么、分成了哪一类、发出了什么警报。
治理机制
- LLM 只作为诊前信息收集与风险标记工具;它不提供诊断,也不提供医疗建议。
- 危险信号升级规则(胸痛、呼吸困难、中风征象、严重过敏、妊娠急症、自杀意念、儿童高热):一旦触发,常规对话停止,显示紧急建议,并通知临床人员。
- 所有分诊输出都标注不确定性等级,并显示“AI 生成的分诊摘要,须经临床医生复核”。
- 每月审计假阴性、投诉、推翻率、危险信号触发的准确率,以及升级响应时间。
RACI
执行(R):临床安全负责人(危险信号与升级规程);IT 与供应商(触发器、日志、警报路由)。负责(A):临床治理委员会。咨询(C):一线临床医生、护士、法务与合规、数据保护官、病人代表、医疗责任保障顾问。知情(I):病人、诊所管理层、临床团队。
审计证据
危险信号规则清单、临床验证记录、分诊日志、病人输入的文字记录、AI 风险分类、升级时间戳、工作人员确认收到的记录、临床医生的最终评估、推翻日志、每月假阴性审查、事件报告。
启示
在临床场景里,最危险的输出不是“我不知道”,而是用流畅的语言低估了一个危急病情。安全的分诊系统,核心能力是知道什么时候该停止回答、交给人来处理。