2026 年 8 月 7 日

當部署方握有公權力,自我認證就不夠了:從臨床一側讀經合組織的 AI 事件監測器

經合組織(OECD)營運着一個 AI Incidents and Hazards Monitor,記錄已報告的 AI 傷害,並把每一條按行業分類;政府、安全與國防這個類別反覆出現,而不是待在邊緣。這個監測器近期的公營部門條目很具體:一個市政府用 AI 生成的宣傳材料用錯了國家象徵,在引起公眾不信任之後不得不撤回;一波 AI 生成的法律建議,因為工具缺乏社會法方面的專業知識而站不住腳,以大量無理的訴求加重了一個國家社會法院的負擔。這些不是前沿模型的末日案例。它們是普通的公共行政用上了 AI,卻在一個治理問題上弄錯了。

放在一國政府的尺度上讀,這是公共行政與監督的問題。從我實際工作的地方,也就是面向病人的臨床 AI 來讀,它讓一件我在自己的實踐裏必須保持誠實的事變得更尖銳:誰有資格認證一個系統的控制有效,以及這種自我認證甚麼時候就不再夠用。

為甚麼這會落到我自己的實踐上,而且讓我不太舒服。 在我構建並治理的臨床 AI 裏,我常常既是構建者,又承擔着很大一部分問責。經過驗證的範圍由我決定,拒答和升級(轉交醫生處理)的規則由我寫,說明控制守住了的證據也離我很近。這種角色集中,在我的場景裏行得通,有一個具體原因:臨床醫生站在系統和病人之間,而病人在場、可識別,能夠質疑、拒絕或要求升級處理。構建系統的人所做的自我認證,部分受到兩樣東西的制衡:一位對病人負有責任的人,以及病人本人就在現場。我那篇從承諾到證據的筆記已經論證過:只有當有一項測試顯示控制有效、有一條記錄顯示它守住了,控制才算治理。我還沒說過的,是這條記錄必須說服誰。

公權力的情形,拿走了我一直悄悄依賴的那些制衡。 當 AI 被用來協助決定福利資格、執照、補助或執法行動時,承受決定的那個人通常不在場,沒有同意,往往根本分辨不出 AI 參與過。常常也沒有一個相當於臨床醫生的角色居中把關這項決定,並對他們負有責任。而部署系統的機關,同時也是認證其控制是否充分的那一方。我在臨床場景裏倚靠的每一項保障(在場的用戶、居中把關的專業人員、照護責任)都不存在;剩下的唯一一道制衡,也就是部署方的自我認證,現在被要求扛起全部重量。經合組織的公營部門事件反覆呈現的,正是這種局面:一個公共機構部署了一個 AI 工具,判定自己的控制已經足夠,受影響的人直到出了問題才知道。設想一個福利機構用模型標記需要複核的申請,並在內部認證每一個不利標記都有經辦人員核查。如果這道核查悄悄退化成橡皮圖章,機構外面的人誰也看不到,直到被拒的申請人注意到某種模式;而到那時,傷害已經落在了那些從來不知道這個模型存在的人身上。這是根據這些事件所顯示的機制構造的示例,不是已報告的案例。

甚麼可以遷移,以及公權力的情形添上的那條軸。 這門功夫可以乾淨地遷移:決定系統可以做甚麼,點名誰負責,在信任它之前要求有測試和記錄。變的是這條記錄必須讓誰滿意。在我的臨床世界裏,部署方可以承擔很大一部分問責,因為還有其他制衡在場。當部署方對不在場的公民握有強制性的公權力時,證明控制有效的證據,必須為部署機關之外的某個人出具,並能由這個人檢驗;受影響的人也需要一條對結果提出異議的途徑。落到我會拿來用的工具上,公權力場景下的 AI 治理需要一層我的臨床清單從來不必寫明的東西:

我不聲稱的是甚麼。 我不治理公共行政,也不會假裝一份臨床風險登記冊能擴展到福利系統。我能準確說出的,是我自己的框架哪裏不完整:它假定有在場的用戶和居中把關的專業人員,又悄悄讓構建者承擔了很大一部分問責。經合組織的公營部門事件是一個提醒:當既沒有在場的用戶,也沒有居中把關的責任,而部署方又握有公權力時,自我認證是所能有的最弱的控制;外部的、獨立的問責不是錦上添花,而是讓治理成真的那樣東西。同一門從承諾到證據的功夫,對準公權力時,要比在病床邊多回答一個問題:向誰證明。

來源:經合組織(OECD),AI Incidents and Hazards Monitor(AIM),它記錄已報告的 AI 事件與危害,並按行業分類,其中包括政府、安全與國防;這篇筆記提到的公營部門例子取自它記錄的條目。該監測器註明,其內容不應被報道為經合組織或其成員國的官方觀點。這篇筆記是治理層面的反思,不構成法律或公共政策意見。