情景推演治理案例

诊前流程中大语言模型分诊的风险与升级处理

上市后决策状态: 有条件批准

问题

一家诊所在就诊前用大语言模型(LLM)分诊聊天机器人收集症状和病史,把病人分为低风险、常规或紧急复核。LLM 可能低估危急症状、漏掉危险信号,或用过于安抚的语言让病人推迟就医。治理的重点不是聊天机器人答得好不好,而是在什么条件下它必须停止回答、升级(转交医生处理)。

主要风险

治理机制

  1. LLM 只作为诊前信息收集与风险标记工具;它不提供诊断,也不提供医疗建议。
  2. 危险信号升级规则(胸痛、呼吸困难、中风征象、严重过敏、妊娠急症、自杀意念、儿童高热):一旦触发,常规对话停止,显示紧急建议,并通知临床人员。
  3. 所有分诊输出都标注不确定性等级,并显示“AI 生成的分诊摘要,须经临床医生复核”。
  4. 每月审计假阴性、投诉、推翻率、危险信号触发的准确率,以及升级响应时间。

RACI

执行(R):临床安全负责人(危险信号与升级规程);IT 与供应商(触发器、日志、警报路由)。负责(A):临床治理委员会。咨询(C):一线临床医生、护士、法务与合规、数据保护官、病人代表、医疗责任保障顾问。知情(I):病人、诊所管理层、临床团队。

审计证据

危险信号规则清单、临床验证记录、分诊日志、病人输入的文字记录、AI 风险分类、升级时间戳、工作人员确认收到的记录、临床医生的最终评估、推翻日志、每月假阴性审查、事件报告。

启示

在临床场景里,最危险的输出不是“我不知道”,而是用流畅的语言低估了一个危急病情。安全的分诊系统,核心能力是知道什么时候该停止回答、交给人来处理。