關於我
簡短版
我構建 AI 原型,並把它們轉化為醫院、監管機構和法務團隊各自能據以行動的治理,面向高風險的醫療與監管場景。我是香港大學 AI 博士,在 HKU-Avnet Joint AI Laboratory 任研發經理兼功能實驗室負責人,主導一個面向病人的醫療數字孿生的開發與治理,涵蓋模型設計、多方協調、部署規劃、臨床風險考量和負責任 AI 文件。
對面向病人的醫療 AI,我構建的證據,我稱之為 behavioural assurance(行為保證):證明系統是否守在聲明的邊界之內、是否正確地拒答和升級,以及事後能否重放和審計。
我的能力是高風險 AI 治理;醫療 AI 是我證明這項能力的地方,因為這是最容不下無治理系統的領域。這門功夫本身,即決定系統可以聲稱甚麼、出錯時誰負責、審計軌跡放在哪裏,可以遷移到任何 AI 會帶來真實後果的場景:金融、監管和公營部門。
跟着技術走進治理
我不是從治理起步的。我從 AI 研究起步,做三維感知和自動標註;在那裏,模型的好壞取決於它背後的數據和圍繞它的評估。那段工作讓我知道 AI 系統實際是怎樣建成的、它們會在哪裏悄悄失效,以及為甚麼「可靠」不只是基準測試上的高分。與此同時,我為 NeurIPS、ICML、ICLR、AISTATS、CVPR 和 AAAI 審稿已有五年多,這訓練的是另一種反射:不是構建系統,而是判斷所給的證據是否支撐對它的聲稱。
當我開始主導一個面向病人的醫療數字孿生時,我以為難點在建模。並不是。決定性的問題都關於部署:系統被允許聲稱甚麼,它出錯時誰負責,病人看到一個輸出之前應當有甚麼證據,以及誰有權叫停它。這些是治理問題;在醫療 AI 裏,它們不是可選項。
於是我開始把自己的項目翻譯成治理:預期用途的邊界、持份者與決策權圖、風險登記冊、部署就緒標準,以及一個不斷擴充的醫療 AI 治理案例集。跟着技術走進治理,不是離開工程,而是跟着技術走到它要麼變得值得信任、要麼不能的那個點。
那條邊界,就是我現在選擇站的位置。我了解 AI 系統的能力極限,因為我構建它們;我了解醫療場景的風險,因為我就在其中工作。這讓我能把技術風險翻譯成治理規則,再把治理目標翻譯回團隊真正可以照着構建的需求。簡單說,我努力治理我所構建的東西。
我掌握甚麼
- 監管素養:歐盟《人工智能法案》(EU AI Act)、NIST AI RMF、ISO/IEC 42001、世界衞生組織關於衞生領域 AI 的指引、FDA 關於 AI 賦能器械軟件的指引(包括預定變更控制計劃)、香港 TR-008。
- 技術風險素養:驗證與外部驗證、校準、亞組表現、模型漂移、大型語言模型的失效模式、人在迴路中的失效、上市後監測。
- 臨床流程素養:AI 輸出從哪裏進入診療路徑、誰據此行動、過度依賴是甚麼樣子,以及甚麼時候必須升級給臨床醫生。
- 審計證據素養:風險登記冊、模型卡、驗證報告、事件日誌、變更控制計劃、推翻日誌、監測報告。
- 營運交接素養:設計有治理的 AI 工作流程,包括人在迴路的控制、可審計性和交接計劃,讓系統能由營運團隊接管和運行,而不只是由它的構建者。
- 政策寫作:把以上這些變成醫院管理層、監管機構和法務團隊能據以行動的語言。
我要去哪裏
這一切背後的信念,說起來容易做起來難:先進的 AI 應當在它實際運行的地方被治理,也就是在真實的應用裏,而不只在政策文件裏。我努力讓負責任的治理成為一個已部署系統在做的事,而不是一篇文章許下的承諾;我從構建的那一側去做這件事。
我的目標是在醫療 AI 與規則相遇的地方工作:衞生 AI 治理與監管科學的研究,衞生系統與產業中的治理和負責任 AI 職位,以及長遠來看,面向政策和標準的工作。如果你正在構建或監管面向病人的醫療 AI,希望有一個紮根於真實系統構建的治理視角,我很想聽到你的消息。
這些工作的核心面向病人,但治理問題不止於個人。當前沿 AI 進入生物安全這類領域,同樣的功夫必須保護那些離系統很遠的人,這會改變哪些保障措施才算數。我從自己熟悉的那一側去讀這條邊界,例如這篇關於兩用性與問責幾何的筆記。
我目前在尋找:(1)願意在治理研究線上合著或提供建議的資深合作者;(2)在真實的醫療 AI 部署中試用治理工具的機會。
聯絡
Email:qianxy10@connect.hku.hk · xyqian@eee.hku.hk
主頁:Google Scholar · LinkedIn · ORCID