項目衍生治理案例 · 已脫敏

模型變更控制與預定變更控制計劃(PCCP)

上市後決策狀態: 有條件批准

問題

一個面向病人的醫療數字孿生依賴一個模型,這個模型會定期重新訓練或更新,由內部團隊或供應商完成。新版本提高了總體準確率,於是被部署。可是「平均更好」並不等於「對這個人羣安全」:這次更新悄悄改變了校準,改變了亞組表現,或改變了病人所依賴的解釋風格。由於這次變更被當作例行的軟件更新,而不是受治理的臨床變更,它上線時沒有經過臨床重新籤核,沒有在本地人羣上再驗證,也沒有記錄改了甚麼、為甚麼改。幾周後問題浮現時,沒有人能還原甚麼時候用的是哪個版本。

治理上的缺口是沒有變更控制,也就是事先決定哪些變更已預先授權、哪些需要再驗證、哪些需要完整臨床重新批准的那套紀律。

主要風險

治理機制

預定變更控制計劃事先給變更分級,並把每一級與必須採取的動作綁定。每個已部署的版本都帶有版本標識、變更日誌和驗證記錄。任何版本都要先通過與其級別相應的關口,才能到達病人。

變更級別 審查負責人 觸發閾值 必須採取的動作 用戶告知
輕微(在預先授權的範圍內) AI 產品負責人 在 PCCP 界定的界限之內 記錄、監測,無需重新批准 無需告知
中等(影響校準/亞組) 臨床安全負責人 任何預計的亞組或校準偏移 部署前在本地再驗證 通過發佈說明告知臨床醫生;只有已披露的侷限發生變化時才告知病人
重大(預期用途、範圍或架構) 醫務總監 + 監管事務 對範圍或預期用途的任何改變 完整的臨床重新批准;監管審查 變更到達病人之前,更新面向臨床醫生和病人的披露,並重新取得確認

無可部署版本警報(回滾不安全時)

常規的變更控制預設總有一個安全的版本可以回滾。自適應的醫療 AI 有一種更難應對的失效狀態:線上版本正在退化,候選版本又沒達到部署門檻,往前往後都不安全。這種狀態必須被單獨發現、單獨命名,不能作為「部署」和「回滾」之間一個隱含的空檔放着不管。

因此,系統事先規定好,在沒有任何模型版本可以部署時,如何回退到純人工流程:這是一個持續監測的獨立警報狀態,與批准/有條件批准/臨床複核/拒絕這幾種決策狀態分開。

字段 記錄內容
當前版本安全嗎? 線上版本是否仍在經驗證的性能與校準範圍之內?(是/正在退化/否)
候選版本可部署嗎? 擬接替的版本是否已達到部署門檻(本地再驗證、亞組、校準、籤核)?(是/尚未/否)
回退流程 兩個版本都不安全時啓用的、預先定義的純人工臨床路徑(誰來手工完成任務、有甚麼支援、能承擔多大工作量)
臨床負責人 負責啓動和運行回退流程的具名臨床醫生(預設不是 IT)
警報狀態 正常/觀察/無可部署版本;最後一種狀態會觸發回退流程和強制性的臨床複核

治理規則:如果當前版本安全嗎?= 否且候選版本可部署嗎?= 否,系統不會在一個正在退化的模型上「失效即放行」(fail open),而是轉入預先定義的回退流程,由具名的臨床負責人負責;AI 輔助功能暫停,直到有版本通過它的關口。

退役(一個獨立的終止狀態,不是延長的暫停)

變更控制管的是用一個版本替換另一個版本。它本身並不決定一個組件甚麼時候該退役,也就是從面向病人的路徑上永久撤下,而不只是暫停、等待修復。退役必須明確觸發,不能任由它以無限期的「觀察」或「無可部署版本」狀態拖下去。

退役觸發條件 含義 必須採取的動作
持續漂移 經過多輪重新校準,漂移仍反覆出現,無法穩定在經驗證的範圍之內 讓該組件退役;除非經過重新設計(只重新校準不算),不在下一輪中再次批准
依賴失去支援 它所依賴的模型、庫或供應商組件已被棄用、未打補丁或已停止支援 在停止支援之日退役;不在面向病人的路徑上運行失去支援的組件
用途改變 經驗證的預期用途已不再符合組件在實際中的使用方式 從已改變的用途上退役;任何後繼版本覆蓋新用途之前,都須先作出擴大範圍的決策
有更安全的替代方案 一個經過驗證的替代方案,被證明能在同一預期用途下降低風險 替代方案通過部署關口後,讓現役組件退役;兩個版本並行運行不超過規定的過渡期

已退役組件的控制條目在總控制登記冊中轉為已退役狀態,而不是直接刪除;同時記錄觸發條件、退役日期,以及接替它的回退方案或替代方案。

RACI

執行(R):AI 產品負責人。負責(A):臨床安全負責人(重大變更由醫務總監負責)。諮詢(C):監管事務、供應商、AI/數據科學團隊。知情(I):負責診治的臨床醫生。

審計證據

PCCP 文件;版本標識與變更日誌;本地再驗證報告;按變更級別分列的籤核記錄;供應商的變更通知。

決策狀態

有條件批准。只有在 PCCP 切實執行的前提下,才批准繼續使用。超出預先授權範圍的更新,在到達病人之前需要再驗證或重新批准。悄悄部署未經分級的變更,構成拒絕條件。

啓示

受治理的臨床變更與悄無聲息的軟件更新,區別就在於變更控制。變更控制只有在兩個條件下才是真的:每一次變更都帶有級別、具名的審查負責人、再驗證觸發條件和保留下來的版本軌跡;系統對最難的那種狀態有預先定好的答案,即沒有任何版本可以安全運行時,病人會怎樣。