关于我
简短版
我构建 AI 原型,并把它们转化为医院、监管机构和法务团队各自能据以行动的治理,面向高风险的医疗与监管场景。我是香港大学 AI 博士,在 HKU-Avnet Joint AI Laboratory 任研发经理兼功能实验室负责人,主导一个面向病人的医疗数字孪生的开发与治理,涵盖模型设计、多方协调、部署规划、临床风险考量和负责任 AI 文档。
对面向病人的医疗 AI,我构建的证据,我称之为 behavioural assurance(行为保证):证明系统是否守在声明的边界之内、是否正确地拒答和升级,以及事后能否重放和审计。
我的能力是高风险 AI 治理;医疗 AI 是我证明这项能力的地方,因为这是最容不下无治理系统的领域。这门功夫本身,即决定系统可以声称什么、出错时谁负责、审计轨迹放在哪里,可以迁移到任何 AI 会带来真实后果的场景:金融、监管和公共部门。
跟着技术走进治理
我不是从治理起步的。我从 AI 研究起步,做三维感知和自动标注;在那里,模型的好坏取决于它背后的数据和围绕它的评估。那段工作让我知道 AI 系统实际是怎么建成的、它们会在哪里悄悄失效,以及为什么“可靠”不只是基准测试上的高分。与此同时,我为 NeurIPS、ICML、ICLR、AISTATS、CVPR 和 AAAI 审稿已有五年多,这训练的是另一种反射:不是构建系统,而是判断所给的证据是否支撑对它的声称。
当我开始主导一个面向病人的医疗数字孪生时,我以为难点在建模。并不是。决定性的问题都关于部署:系统被允许声称什么,它出错时谁负责,病人看到一个输出之前应当有什么证据,以及谁有权叫停它。这些是治理问题;在医疗 AI 里,它们不是可选项。
于是我开始把自己的项目翻译成治理:预期用途的边界、利益相关方与决策权图、风险登记册、部署就绪标准,以及一个不断扩充的医疗 AI 治理案例集。跟着技术走进治理,不是离开工程,而是跟着技术走到它要么变得值得信任、要么不能的那个点。
那条边界,就是我现在选择站的位置。我了解 AI 系统的能力极限,因为我构建它们;我了解医疗场景的风险,因为我就在其中工作。这让我能把技术风险翻译成治理规则,再把治理目标翻译回团队真正可以照着构建的需求。简单说,我努力治理我所构建的东西。
我掌握什么
- 监管素养:欧盟《人工智能法》(EU AI Act)、NIST AI RMF、ISO/IEC 42001、世界卫生组织关于卫生领域 AI 的指南、FDA 关于 AI 赋能器械软件的指南(包括预定变更控制计划)、香港 TR-008。
- 技术风险素养:验证与外部验证、校准、亚组表现、模型漂移、大语言模型的失效模式、人在回路中的失效、上市后监测。
- 临床流程素养:AI 输出从哪里进入诊疗路径、谁据此行动、过度依赖是什么样子,以及什么时候必须升级给临床医生。
- 审计证据素养:风险登记册、模型卡、验证报告、事件日志、变更控制计划、推翻日志、监测报告。
- 运营交接素养:设计有治理的 AI 工作流,包括人在回路的控制、可审计性和交接计划,让系统能由运营团队接管和运行,而不只是由它的构建者。
- 政策写作:把以上这些变成医院管理层、监管机构和法务团队能据以行动的语言。
我要去哪里
这一切背后的信念,说起来容易做起来难:先进的 AI 应当在它实际运行的地方被治理,也就是在真实的应用里,而不只在政策文件里。我努力让负责任的治理成为一个已部署系统在做的事,而不是一篇文章许下的承诺;我从构建的那一侧去做这件事。
我的目标是在医疗 AI 与规则相遇的地方工作:卫生 AI 治理与监管科学的研究,卫生系统与产业中的治理和负责任 AI 岗位,以及长远来看,面向政策和标准的工作。如果你正在构建或监管面向病人的医疗 AI,希望有一个扎根于真实系统构建的治理视角,我很想听到你的消息。
这些工作的核心面向病人,但治理问题不止于个人。当前沿 AI 进入生物安全这类领域,同样的功夫必须保护那些离系统很远的人,这会改变哪些保障措施才算数。我从自己熟悉的那一侧去读这条边界,例如这篇关于两用性与问责几何的笔记。
我目前在寻找:(1)愿意在治理研究线上合著或提供建议的资深合作者;(2)在真实的医疗 AI 部署中试用治理工具的机会。
联系
Email:qianxy10@connect.hku.hk · xyqian@eee.hku.hk
主页:Google Scholar · LinkedIn · ORCID