2026 年 7 月 19 日
可靠性不等於準確性:一個篩查數字藏住了甚麼
設想一個癌症篩查模型,在 1,000 人身上測試。其中 100 人患病,900 人沒有。模型把 100 個真病例中的 90 個標為陽性,也把 180 個健康人標為陽性。它的靈敏度是 90%。放在幻燈片上,這個數字就能把系統賣出去。
現在把同一個結果當作部署決策來讀。在模型判為陽性的所有人裏,270 人中只有 90 人真的患病。它的陽性預測值是 33%。每三個被告知「你的篩查結果是陽性」的人裏,就有兩個是健康的,而每個人都會帶着這個警報,走進更多的檢查、更多的花費和更多的焦慮。準確率這個亮眼的數字,和人們對這個系統的切身體驗,指向相反的方向。
這就是為甚麼可靠性不等於準確性。準確性問的是:模型是不是經常對。可靠性問的是一組更難的問題:它在哪裏出錯,錯在誰身上,每一種錯誤的代價是甚麼,以及誰要為這個答案負責。一個模型可以在總體上準確,卻對老年病人、對女性,或者對掃描儀、病例構成與訓練集不同的醫院並不可靠。合併計算的準確率,恰恰藏起了最要緊的那些失敗。
可靠性也不是一個固定不變的屬性。上線時可靠的模型,可能隨着病人羣體、設備或疾病患病率的變化而漂移。即使模型本身沒變,預測值也會隨患病率變化。沒有部署後監測,這種漂移會一直隱形,直到有病人受到傷害。
所以,治理要問的不是「它準不準」,而是:
- 錯誤分佈是甚麼樣的,而不只是平均水平?靈敏度、特異度和預測值,要按亞組報告,而不是合併計算。
- 每一種錯誤的代價由誰承擔?承擔代價的,和從使用中獲利的,是不是同一方?
- 甚麼閾值會觸發複核,這個閾值由誰負責,越過之後會發生甚麼?
這些問題,沒有一個能靠單一的準確率數字回答。回答它們,靠的是證據、責任歸屬和監測計劃。一個得分漂亮的模型,和一個可以託付病人的系統,區別就在這裏。