執行摘要
全球各國政府正在對個人生活產生深遠影響的領域部署人工智慧系統：福利資格認定、移民處理、犯罪風險評估、稅務欺詐檢測和兒童保護。OECD的AI政策觀測站報告，62%的OECD國家已在至少一個公共部門領域部署或試行AI系統，政府AI採購支出在2025年達到180億美元。然而，管理這些部署的問責框架仍嚴重不足。
本報告從委託代理理論和社會選擇理論的視角分析公共部門AI治理。政府AI系統創造了一種新的問責缺口：影響公民基本權利的決定由民選官員無法完全理解的演算法系統做出，採購人員無法充分評估，而受影響的個人無法有意義地質疑。Arrow不可能定理——社會選擇理論中的基礎性結果，證明沒有投票制度能同時滿足所有公平標準——在演算法公平性中有直接類比：沒有分類系統能同時滿足所有合理的公平定義，迫使必須進行本質上是政治性而非技術性的取捨。我們認為，有效的公共部門AI治理需要將演算法部署視為憲政性挑戰，而非僅僅是技術性挑戰。
問責缺口：演算法治理中的委託代理問題
委託代理框架揭示了公共部門AI部署中普遍存在的治理失敗。在傳統的公共行政模式中，問責鏈從公民（委託人）通過民選官員到公務員（代理人），後者行使被授權的權力。這條鏈中的每個環節都涉及監督機制：選舉、立法監督、行政法和司法審查。
AI系統在這條鏈中引入了一個新的代理人——一個以根本不同的邏輯運作的代理人。人類決策者可以被詢問其推理過程，為錯誤承擔責任，並在政策變化時接受再培訓。AI系統優化的是數學目標函數，這些函數可能以對負責監督的官員而言技術上不透明的方式偏離政策意圖。這種不透明性創造了學者們所稱的「問責赤字」——具有改變人生後果的決定，而沒有任何人類行為者能完全解釋或辯護。
荷蘭兒童保育津貼醜聞（toeslagenaffaire）提供了一個毀滅性的例證。荷蘭稅務局使用的自動風險評分系統將數千個家庭——以具有雙重國籍的家庭為主——標記為兒童保育津貼欺詐調查對象。該系統的設計包含了與種族相關的特徵，但沒有任何個別官員能對本質上是大規模演算法歧視的問題承擔責任。這一醜聞導致荷蘭政府在2021年下台，並引發了持續影響荷蘭公共行政的憲政危機。
類似的問責失敗已在各國管轄區出現。澳洲的「Robodebt」計劃使用自動收入平均計算發出了47萬份錯誤的福利債務通知，多起自殺被歸因於該計劃的影響。英國內政部的簽證處理演算法被發現基於國籍進行歧視。美國的COMPAS累犯預測工具在刑事量刑建議中表現出種族偏見。在每一案例中，AI系統都在傳統問責機制無法有效運作的治理真空中運行。
演算法公平的不可能性
公共部門AI的一個根本挑戰在於，「公平」不是一個單一概念，而是一組相互不相容的定義。演算法公平性的學術研究已經確定了眾多形式化的公平標準——包括人口統計均等性、等化賠率、預測均等性、校準和個體公平性——並證明，除了在微不足道的情況下，沒有分類器能同時滿足所有這些標準。
這個不可能性結果與社會選擇理論中的Arrow定理相呼應。正如沒有投票制度能同時滿足無限制域、非獨裁性、帕累托效率和無關選項獨立性一樣，沒有演算法系統能同時實現所有公平性理想。因此，在公平標準之間的選擇是一個規範性的政治決定，而非技術性的優化問題。
以福利欺詐檢測系統為例。人口統計均等性要求系統從每個人口群體中標記相同比例的申請人進行調查。預測均等性要求在被標記的申請人中，實際存在欺詐的比例在各群體間相等。等化賠率要求真正陽性率和假陽性率在各群體間相等。如果各群體的欺詐基礎率不同——由於結構性社會經濟因素，這是不可避免的——這些標準無法同時被滿足。實現人口統計均等性的系統必然在各群體間具有不同的假陽性率；等化假陽性率的系統必然從各群體中標記不同的比例。
其影響是深遠的。當政府部署嵌入特定公平取捨的AI系統時，它們正在做出關於優先考慮誰的利益的政治選擇——這些選擇應該通過民主審議做出，而不是隱藏在技術規格中。然而，目前的採購流程將公平性視為由工程師評估的技術要求，而非由立法者和利益相關者辯論的規範性選擇。
審計機制：從事後審計到持續審計
歐盟AI法案於2025年生效，規定對「高風險」AI系統——包括大多數公共部門部署——進行合規評估。然而，該法案的合規評估框架本質上是部署前的關卡：系統在部署前進行評估，之後進行定期審查。這種方法對於行為因數據漂移、反饋循環和環境變化而隨時間改變的AI系統是不充分的。
我們提出從部署前合規評估向持續演算法審計的轉變。借鑑財務審計方法——結合事前控制、持續監控和事後調查——全面的演算法審計框架應包括三個組成部分：
1. 設計階段影響評估。在開發開始之前，對擬議系統對基本權利的影響進行結構化評估，對高風險領域進行強制公眾諮詢。這對應於基礎設施開發中使用的「環境影響評估」模式，以及越來越多地用於數據保護（GDPR下的DPIA）的模式。
2. 持續監控儀表板。按受保護特徵分類的系統輸出即時追蹤，當公平指標偏離預設閾值時自動發出警報。英國Alan Turing Institute已為此目的開發了開源工具，加拿大的演算法影響評估框架提供了治理模板。
3. 獨立回顧性審計。由合格外部機構進行的定期（年度或雙年度）獨立審計，結果公開發布，受影響社區有回應權。審計方法應包括系統輸出的統計分析和個案的質性調查，確保總體公平指標不會掩蓋個別傷害。
制度設計：誰來治理演算法？
有效的演算法問責需要專門的制度能力。現有的監管機構——數據保護機關、平等委員會、行政法庭——缺乏有效監督AI系統所需的技術專長和法律授權。多個管轄區正在試驗新的制度模式。
法國的CNIL成立了專門的AI團隊，並發布了關於公共服務中演算法問責的指引。荷蘭——直接回應toeslagenaffaire——成立了演算法管理局（Algoritmewaakhond），有權調查和暫停政府AI系統。英國的AI安全研究所雖然專注於前沿模型，但已開始將其評估能力擴展到公共部門系統。巴西提出的AI法規包括設立具有監督權力的國家AI管理局的條款。
制度設計的挑戰在於平衡技術專長與民主合法性。一個純技術性機構有可能重複其創建時要解決的問責赤字——用另一組不受問責的專家替代原有的。一個純政治性機構可能缺乏評估複雜AI系統的技術能力。最優設計可能涉及混合結構：具有技術能力的工作人員在包括公民社會代表、受影響社區成員和民選官員的治理委員會下運作。
救濟與權利：對演算法決定的有意義質疑
質疑自動化決定的權利——載入GDPR第22條和其他數據保護制度的同等條款——在實踐中基本上是理論性的。有意義的質疑要求受影響的個人：（a）知道演算法系統參與了決定；（b）理解影響結果的因素；（c）能夠獲得有效的救濟；以及（d）能夠質疑系統性而非僅僅是個別的錯誤。
這些要求中的每一項都面臨實際障礙。通知不一致：許多政府AI系統在不通知受影響個人的情況下運行。解釋在技術上具有挑戰性：事後可解釋性工具提供的是近似值而非真正的因果解釋。救濟通常僅限於要求人工審查——但人工審查員表現出「自動化偏見」，根據2024年發表在《Nature Human Behaviour》上的一項元分析，在85%至95%的案例中順從演算法輸出。系統性質疑需要個別投訴人很少擁有的模式歧視證據。
解決這些障礙需要法律和制度創新。強制性的演算法影響登記——公開披露所有政府AI系統、其目的及評估結果的公共資料庫——將解決通知差距。荷蘭、法國和英國已試行此類登記。集體救濟機制——使公民社會組織能夠代表受影響群體提出質疑——將解決系統性質疑的差距。以及舉證責任的轉移——要求部署機構證明其AI系統符合公平和準確標準，而非要求個人證明其不符合——將使質疑權利在實踐中有意義。
對GDEF監管與政策工作小組的啟示
公共部門AI問責處於技術治理、人權和民主合法性的交叉點。所需的治理框架不僅是技術標準，更是將演算法系統嵌入民主問責結構的憲政創新。GDEF的監管與政策工作小組將在其工作計劃中推進演算法問責框架的建議，特別關注持續審計機制的設計和演算法監督的制度架構。
參考文獻與來源
- OECD, AI Policy Observatory: Government AI Readiness Index 2025. oecd.ai
- AI Now Institute, Annual Report 2025: AI in Government. ainowinstitute.org
- European Commission, AI Act Implementation: High-Risk AI Systems in Public Administration. ec.europa.eu/ai-act
- Arrow, K.J. (1951). Social Choice and Individual Values. New York: Wiley. doi.org/10.12987/9780300186987
- Chouldechova, A. (2017). "Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments." Big Data, 5(2), 153–163. doi.org/10.1089/big.2016.0047
- UK Alan Turing Institute, AI Standards Hub: Public Sector AI Governance. aistandardshub.org
- Parliamentary Committee on Digital Affairs (Netherlands), Report on the Toeslagenaffaire: Lessons for Algorithmic Governance, 2023. tweedekamer.nl
- Treasury Board of Canada, Algorithmic Impact Assessment Tool. canada.ca/responsible-ai
- Kleinberg, J., Mullainathan, S., and Raghavan, M. (2016). "Inherent Trade-Offs in the Fair Determination of Risk Scores." Proceedings of the 8th Conference on Innovations in Theoretical Computer Science. doi.org/10.4230/LIPIcs.ITCS.2017.43
- Royal Commission into the Robodebt Scheme (Australia), Final Report, 2023. robodebt.royalcommission.gov.au