2026 年 7 月 19 日
「80% 風險」不等於 80% 的概率
醫療 AI 說某個病人的風險是 80%,人們很自然會這樣理解:100 個類似的病人裏,大約有 80 個會發生該事件。但一個模型可以很擅長把病人從低風險排到高風險,卻把自己顯示的實際概率弄錯。排序和校準不是一回事。
最常被引用的指標是 AUC,它衡量的是排序:風險較高的病人,得分是否高於風險較低的病人。至於「80%」是不是真的代表 80%,AUC 甚麼也沒說。一個模型可以 AUC 很高,同時系統性地過於自信或不夠自信,比如給真實事件發生率只有 50% 或 30% 的一組病人顯示 80%。
這一點很要緊,因為人是按數字行動的,不是按排序。臨床醫生決定要不要升級處理,病人決定要不要擔心,閾值決定要不要發出警報,都把這個概率當成真的。如果它沒有校準好,下游的每一個決定都會繼承這份失真。
所以,校準本身就是一項治理要求,和區分度是兩回事。支持部署的主張,不僅要證明模型排序排得好,還要證明它的概率與實際觀察到的情況相符,而且這一點在亞組內部也成立,不只是整體成立。患病率一變,校準就會漂移,所以校準必須持續監測,不能只查一次。
要問的問題:
- 有沒有證據表明模型校準良好,還是隻有證據表明它的 AUC 不錯?
- 校準在亞組內部是否成立,還是隻在總體上成立?
- 部署之後,隨着人羣變化,校準要怎樣監測?
風險評分是對概率的一個承諾。治理的作用,是讓這個承諾成真,或者在它成真之前,不許它顯示出來。