2021-04-12 14:52:34 來源：中國周刊
作者：張 欣（對外經濟貿易大學法學院副教授），來源：《法商研究》2021年第2期
作為底層架構的算法，在擴展式嵌入社會經濟領域時已逐步超越代碼特質，整合并再生為新型“社會權力”。面對這一挑戰，算法影響評估制度應運而生。其有助于創制合理的算法透明度并構筑算法信任，助力場景化和精準化算法治理，與數據保護影響評估制度形成有效勾連。美國和加拿大以公共事業為核心領域，以框架式治理和協同治理為實現路徑，以“技術架構、影響維度和問責制”為核心支撐，以敏捷治理理念打造智能評估工具，形成了全周期覆蓋、閉環聯動的評估框架。在構建本土化方案時，應當科學制定算法影響評估制度的構建規劃及基本路徑，精細化制度設計并強化制度執行實效，合理構建內外兼具、激勵相容的協同評估機制。
一、問題的提出
伴隨著數據和人工智能技術的迅猛發展，以商業資本或者政治權力為驅動力，算法已經逐步超越代碼這一特質，內嵌在搜索引擎、新聞推薦、風險評估、人臉識別、自動駕駛等多元化公私場景中，成為構建社會秩序的代理決策者。作為底層架構的算法，雖然形式客觀、運行高效，但其技術特質無法為決策的穩健性、正當性和合理性作出充分證成。實際上，一系列算法偏誤已經在社會、經濟領域帶來不良影響。例如，臉書的算法在就業和住房廣告精準投放時產生了性別傾斜和種族歧視。數百萬非裔美國人因患者分配醫療算法的偏誤設計在醫療護理上受到了系統性歧視。更令人震驚的是，2019年兩架波音飛機因自動駕駛軟件程序故障造成空難，致使346名乘客不幸罹難。由此可見，當算法與公私權力主體相結合，整合并再生成為新型“社會權力”時，各國立法者亟須以平等、公平和安全為內核構建科學合理的治理框架，彌合算法系統與社會核心價值之間的潛在張力。但由于一個簡單的算法應用場景至少涉及算法開發者、部署者、使用者等多個主體和多項法益，不同的算法運行場景也意味著不盡一致的算法治理要求，因此，還需建立一種具有動態性、精準性、場景性的算法治理機制，打破單一治理框架與多元應用場景之間、技術復雜性和動態性與治理規范的穩定性和普遍性之間的緊張內核。
面對日益攀升的算法治理壓力，算法影響評估制度作為重要的治理方案被提上中外立法議程，成為當下算法治理實踐中最為矚目的焦點。2018年美國紐約市通過頒布《算法問責法》首創自動化決策系統的影響評估制度。2019年加拿大政府頒布《自動化決策指令》系統化創建算法影響評估指標。2020年歐盟《人工智能白皮書》也不約而同地提出應針對人工智能應用建立清晰、易懂且兼顧各方利益的影響評估標準。在我國，從人工智能治理的頂層設計到地方人工智能行動方案，算法影響評估制度已作為一項核心制度被明確提出。例如，新近頒布的《關于建設人工智能上海高地 構建一流創新生態的行動方案（2019-2021）》就明確提出建立人工智能風險評估和法治監管體系。由此可見，算法影響評估制度不僅已經成為各國立法者競相關注的焦點，而且還成為人工智能未來監管框架的重要起點。但面對日益迫切的制度建構需求，我國學界對于算法影響評估制度的研究卻很薄弱。本文擬聚焦算法影響評估制度，系統梳理其制度優勢，對比挖掘域外方案，提煉制度構建的核心機理，為探索建立中國方案奠定有益的理論基礎。
二、算法影響評估制度的治理優勢
算法影響評估制度是指依據系統制定的衡量標準對自動化決策系統的應用流程、數據使用和系統設計等內容進行系統評判，以明確該系統的影響水平和風險等級的一種算法治理實踐。從技術運行機理和算法治理目標看，算法影響評估制度具有下列3項核心優勢。
（一）創制合理的算法透明度并構筑算法信任
在算法對社會不斷重建的過程中，個性化和效率性的增加還伴隨著多元風險，致使決策透明度和可控性下降，甚至形成“黑箱社會”。降低算法決策透明度的根源主要有3個方面：其一，傳統的知識產權和商業秘密制度成了算法開發者和部署者對抗算法問責的有力武器；其二，算法開發者和設計者因受到商業利益的驅動而具有將算法模型不斷復雜化、黑箱化的內在激勵；其三，現有算法治理框架未能準確捕捉算法運行的內在機理，將算法決策的合法化審查轉變為浮于形式的合規化管理。算法決策因此變得難以審查。
算法影響評估制度采用全周期視角，以中立、專業、可信的評估主體為保證，對算法設計、部署、運行的全部流程予以動態評估，要求算法系統在用于商業以及公共事業場景前就接受獨立的社會技術分析。其猶如一把利劍，精準刺破了“黑箱社會”的神秘面紗，創制合理的算法透明度并構筑算法信任。首先，算法影響評估制度從程序和實質兩個方面創建了合理的算法透明度，擺脫了算法設計者妄想藏匿于知識產權和商業秘密制度屏障后，從而試圖逃避算法責任的治理難題。一方面，算法影響評估制度建立了程序性的評估機制，賦予利益相關主體以程序性保障和參與渠道，從而創建了算法決策運行過程中的信任溝通機制，增加了算法決策的適當性。另一方面，算法影響評估制度從實質層面預先識別和系統跟蹤算法內置或者潛在偏誤，增加算法運行系統的可追溯性、穩健性和準確性。其次，算法影響評估標準的建立可以促使研發主體以負責任的態度對系統進行開發，在系統設計之初就預估其可能產生的風險，在運行過程中也實時檢測系統是否按照預期穩定運行，由此弱化算法開發者和設計者不斷將設計復雜化、“黑箱化”的不良激勵。最后，算法影響評估制度還將法律和行業規范與各項治理標準有機結合，形成細化可行的評估框架，解決算法問責制流于形式的治理難題，促使各科技公司強化現有控制流程，實現更高效率的風險管理，將算法影響評估制度內嵌于技術開發、流程管理和實際應用的全過程。通過多管齊下，算法影響評估制度既增加了算法決策在多元應用場景中的適當性和可接受性，又有助于營造可信賴的人工智能應用生態，推動“黑箱社會”轉變為“顯式社會”，從根本上構建算法信任。
（二）助力場景化和精準化的算法治理
人工智能時代的治理邏輯已經發生全方位的深度變革，單一框架的治理路徑漸被拋棄，一種基于場景化、精細化的治理實踐已經出現。例如，2020年歐盟《人工智能白皮書》就明確提出應當在應用場景、部署目的、安全保護、消費者利益和基本權利5個維度建立基于風險的五級監管體系，清晰區分各類人工智能應用的評估標準，實施差異化監管。場景化、精準化的算法治理，意味著各算法應用所涉及的治理目標、治理工具和治理內容有所不同，與具體關涉到的主體、行為、規范、價值具有復雜的匹配關系；其是將技術應用場景中的各方利益和社會影響不斷加以明晰的過程，是事實與規范的精準細化和科學組合。
正如有的學者所言：“治理活動就是一種場景化行動。一旦某種特定的場景被建構起來，支撐場景化行動的治理技術就有了自主性，成為治理場景的有機組成部分。” 在算法治理領域，算法影響評估制度是場景化、精準化算法治理框架的核心實現路徑，可以幫助開發者、設計者、部署者以及公眾等利益相關方清晰理解算法設計與應用程序所應配備的治理和監管要求。算法影響評估制度還有助于在算法權利配置和責任承擔方面建立依據具體場景而觸發的精細化標準和規則，準確提煉算法應用場景中具有普遍性的治理需求，使復雜多元的算法應用既滿足共性化的設計、部署和運行標準，又可以達致精準化的個性化適配。對于社會嵌入性強、預期風險較大的算法應用而言，算法影響評估制度還可以顯著增加系統的可控性、透明度和穩健性。
（三）有效聯結數據保護影響評估制度
在自動化決策系統運行過程中，算法與數據緊密相連，共同在場景應用中發揮作用。在設計和運行環節，若沒有海量、可靠的數據喂養和支撐，則再好的算法設計也如空中樓閣；但僅有海量數據，如果缺乏具有高度解析能力的算法進行高效分析和挖掘，那么海量數據也可能被浪費，難以得到有效應用。因此，在網絡治理領域，數據保護影響評估制度與算法影響評估制度相輔相成，互為補充，構成算法問責制的一體兩翼。二者制度設計的內在機理存在諸多相同之處，如以項目而非組織為執行基礎，具有事先預期性而非回溯性特質，具有動態性和持續性，評估系統和數據使用的影響和風險等，但二者的制度設計也存在諸多不同之處。這使得僅依靠數據保護影響評估制度難以解決自動化決策系統在運行過程中存在的歧視、偏誤、不透明等治理難題。因此，就自動化決策系統而言，算法影響評估制度不僅可以有效聯結數據保護影響評估制度，而且還能從以下兩個方面彌補其不足。首先，有效彌補了數據保護影響評估制度中協同治理架構設計的不足。以《通用數據保護條例》為例，數據保護影響評估制度主要立足于數據控制者運行的內部層面。雖然《通用數據保護條例》第35（9）條規定：“在適當情況下控制者在不影響商業利益保護、公共利益保護或者處理操作安全的情況下，應當就將要進行的處理向數據主體或者代表尋求意見”，第36（1）條規定：“若根據本條例第35條的規定進行的數據保護影響評估表明，若控制者不采取措施降低風險，處理將帶來高風險，數據控制者應當在處理數據之前與監管機構進行事先協商。但并未強制性地要求外部法律、社會或者數據安全領域的專家實施獨立監督，也并未要求評估過程接受公共機構監督。這種制度設計雖然體現了對數據質量和數據安全的關注，但對協同治理實踐的關注有所不足，對社會和經濟影響的評估亦有所欠缺。與數據保護影響評估制度相比，算法影響評估制度不僅要求設計者、部署者和運行者對算法設計和相關數據展開系統評估，而且還要求在評估過程中納入外部問責和審計力量，全面踐行協同治理理念，相比較而言具有更為完善的治理架構。其次，有效解決改進數據保護影響評估制度中公眾披露不足的問題。在數據保護影響評估制度中，雖然立法和相關指南推薦數據控制者對評估結果予以公布，但并不強求其公布評估文件和流程信息，可以僅公布核心概要。在數據和算法治理實踐中，由于一定程度的公眾參與和公開披露已被廣泛視為構成有效治理的核心要素，因此，算法影響評估制度基于差異化場景建立合理透明度，尤其是對公共事業場景中高風險的自動化決策系統建立嚴格的公開披露制度，可以有效補齊數據保護影響評估制度中公眾披露不足的短板。
三、算法影響評估制度的構建機理
在技術領域，算法影響評估是指對自動化決策系統的穩健性、公平性和可解釋性等特性進行的評估。其目標是設定系統的運行邊界和使用周期，創建系統設計者對運行結果負責的切入點。但在算法治理領域，由于算法架構、應用領域、治理框架和治理邏輯等不同，因此存在多個版本的制度設計和提案。本文擬選取美國和加拿大的算法影響評估制度作為代表性的立法樣本，從應用領域、協調機制、評估標準和評估工具4個方面系統梳理其核心構建機理。
（一）以公共事業場景為核心應用領域
現代治理的復雜性和信息科技的廣泛應用極大推動了現代“行政國”向“自動化行政國”的全面轉化。從立法、執法到司法，從資源分配、戰略部署到責任認定，一系列公共決策正由算法輔助乃至替代執行。與此伴隨而來的是算法歧視、算法霸權等算法適用危機。這些危機共同指向3個治理難題：首先，公共事業領域的算法應用攸關公共利益。一旦發生決策失誤，就可能帶來系統性社會風險。其次，算法決策偏誤引發的權益損失目前尚無高效、可行的配套救濟措施。例如，公民在被算法系統錯誤標記后，很難通過高效的方式自證清白并迅速恢復信譽。相反，其可能反復遭受歧視或者錯誤待遇。最后，由于算法模型架構復雜，因此應用于公共事業場景時難以保障相關人知情、參與、異議和救濟性權利，外部主體難以在傳統制度框架下進行有效的算法問責。針對這些治理痛點，美國和加拿大兩國率先行動，首先聚焦于公共事業場景中的算法影響評估制度，希冀以此提升行政領域的算法治理實踐。
2018年10月，美國紐約市率先頒布《算法問責法》，揭開了美國在算法治理領域的立法篇章。該法明確規定行政機構以及慈善團體應用自動化決策系統時應當接受自動化決策系統工作組在公正性、可問責性和透明度等方面的評估。與紐約市的立法類似，2019年華盛頓州提出的S.B.5527和H.B.1655法案以及加利福尼亞州的S.B.444法案也明確規定政府和公共實體機構在公共事業場景應用自動化決策系統應當進行算法影響評估。2019年，加拿大政府頒布《自動化決策指令》，以透明、問責、合法、程序公正等核心行政法原則為指引，系統構建算法影響評估制度。該指令聚焦公共事業場景，主要適用于聯邦行政機構以及為政府服務的外部主體利用自動化決策系統作出行政決定的情形。雖然美國和加拿大兩國在微觀層面的制度設計有所不同，但算法影響評估制度均率先在公共事業場景適用。其核心目的都在于通過系統評估和識別自動化決策系統在公共事業場景對個人和團體的潛在影響和風險，為公眾和外部主體審查和稽核算法奠定基礎，并為探索精準化、場景化的算法治理框架提供決策依據。
（二）以框架式治理和協同治理為實現路徑
人工智能技術的創新具有迅速迭代性。算法作為人工智能技術鏈的源頭更是如此。算法技術日益攀升的發展速率和不斷復雜多元的應用場景使得立法者只能處于被動追趕的艱難境地。觀察美國和加拿大立法者對于算法影響評估制度的構建策略可知，雖然微觀規則設計各有特色，但均采用框架式治理和協同治理的思路，在充分考慮技術發展速率和應用復雜性的基礎上，積極嘗試建立一種動態開放、自我演化的算法治理機制。所謂框架式治理，是指在確定性的法律規則之外，以可度量、可標定、可操作、可區分的分級化指標、標準和清單為基礎，構建起約束相關主體認知和行為框架的治理方式，可以為分級化、場景化、精確化的算法治理實踐提供決策基礎。算法治理實踐中的協同治理則是指突破傳統政府主導的線性管理模式，借助行業代表、外部專家和社會公眾等多元力量，對算法應用予以解釋、評估、監測和完善的治理策略。可以說，算法影響評估制度預示著人工智能治理實踐開始跨越傳統孤立式的單線治理模式，向以協同化、立體化、框架化、精準化為特質的多元治理模式的深度轉變。
在實施路徑上，依據《算法問責法》，紐約市成立了自動化決策工作組，由市長辦公室主任主持，同時由市長數據分析辦公室首席分析官和人權委員會戰略計劃專員聯席負責。工作組的成員由各相關政府機構和辦公室、企業和行業、非營利組織、算法和數據領域的專家等共計17名成員組成。為增加規則的可操作性，工作組自成立以來就制定了認定某一工具或者系統是否屬于行政機構自動化決策系統的自檢清單，以清晰界定應當適用的系統類型。清單和標準相互結合的方式不僅有助于規則的持續更新，而且在技術上可度量、可標定，在具體適用層面可觀測、可區分。在具體表現形式上，該清單以詳細問卷的方式對機器學習、數據處理、人工智能技術和公眾影響等術語作以引導式規定。參評主體可以通過依次回答問卷所列問題從而得出是否應當適用該法的結論。美國聯邦《算法問責法案》則采取自我評估和政府評估雙軌并行的路徑。依據該法案的規定，聯邦貿易委員會作為主管行政機構頒布和制定評估標準。對適用該法的實體而言，應當按照法案規定的評估標準展開影響評估。對屬于法案中規定的“高風險自動化決策系統”，由聯邦貿易委員會在認為必要時與獨立的稽核人員、技術專家咨詢合作展開評估。加拿大《自動化決策指令》同樣采用清單式和問卷式評估框架，通過設定60個與自動化決策系統業務流程、數據和設計相關的問題，以計分卡的形式得出初始評估結論并設定細化的協同評估方案。依據評估后對社會和公民的影響程度，自動化決策系統會受到來自國家研究委員會、統計局或者通訊安全機構的專家、高等教育機構的研究人員、具有相關專業知識的第三方合同供應商、國庫委員會秘書處數據和自動化咨詢委員會以及同行評審的組合性評估。為確保評估規定符合最新算法實踐，該指令采用動態治理思路，每隔6個月就會對評估標準和治理框架進行必要更新。由此可見，在算法影響評估機制的構建環節，明晰的概念界定和量化可行的評估標準是保證治理實效的重要起點，外部專家和公眾力量的多元化實質參與是確保其動態更新、自我演化的關鍵路徑。框架式和協同式治理機制的構建，深度契合人工智能技術的運行機理，有助于科學有效地開展算法影響評估并精準辨識應予適用的監管框架。
（三）以技術架構、影響維度和問責制構建差異化評估框架
以美國和加拿大為代表的算法影響評估方案雖各具特色、各有側重，但在構建邏輯上不約而同地反映了推動技術創新以及促進技術應用公平、公正、問責和透明的治理共識。通過詳細對比以美國聯邦《算法問責法案》為代表的5部美國立法和加拿大《自動化決策指令》，可以發現立法者以“技術架構、影響維度和問責制”為核心支撐，構成三位一體、互有補充的閉環評估框架，聚焦差異化、場景化和精準化的算法影響評估實踐。
首先，以技術架構為基礎維度，采用事前、事中、事后的全周期視角設定技術評估指標體系。通過比較發現，以技術架構為評估維度，立法者多以技術設計效率性和應用目的合法性、技術架構復雜性、系統執行任務類型、數據使用特性、技術所有權、技術運行監測機制、系統可解釋性、系統精確度、技術性和物力性保障措施等內容構建核心評估指標。例如，紐約市自動化決策工作組的官方指南指出，應當依據系統執行的任務類型、核心技術組件復雜性、對個人可識別信息的使用程度、系統解釋能力、部署系統緊迫性、系統預期效率等核心指標對技術架構特性進行評估。與這一立法思路類似，美國聯邦《算法問責法案》亦從技術架構切入，明確提出“自動化終局決策系統”與“自動化輔助決策系統”的區分，并結合技術新穎性、決策應用范圍、背景和用途，以及所涉數據和個人信息的敏感程度建立技術維度評估指標。
其次，采用場景治理和精準治理的思路，以影響主體、影響范圍、影響程度為基礎，建立基于影響維度的評估指標體系。在影響維度指標的設定過程中，各國立法者還嵌入了算法治理實踐所要維護的社會核心價值。以加拿大《自動化決策指令》為例，由于立法者十分關注自動化決策系統在經濟、社會和生態等方面的影響，因此以系統對個人或者團體在基本權利、健康福祉、經濟利益以及環境生態方面的影響建立評估指標。為進一步精準匹配影響等級和監管義務，立法者以風險為基礎將評估后的影響等級劃分為可逆和短暫性影響、可逆和短期性影響、難以逆轉且持續不斷性影響以及不可逆轉且永久性影響4個等級。受媒體報道等公共議程的影響，美國立法更多聚焦于自動化決策系統對公平、偏見、歧視、隱私和安全等核心價值的影響。例如，美國聯邦《算法問責法案》中自動化決策系統影響評估條款（C）項就規定應當評估系統對消費者個人信息和隱私以及安全構成的風險，同時應評估自動化決策系統可能引致消費者遭遇不公、偏見和歧視性決策的風險。紐約市則以自動化系統潛在影響的性質和程度、潛在影響的持續時間、任何類型的已知或者潛在風險，包括可能帶來的差別性影響或者偏見、對網絡安全、隱私或者個人對關鍵信息的受限訪問等為基準建立影響維度的評估指標體系。
最后，圍繞透明度、合法性、公平和公正等核心價值建立基于算法問責制維度的評估指標體系。具體而言，算法問責制維度的評估指標可被進一步細分為防治不良影響的技術措施、權利救濟渠道、算法透明度實現機制3個層面。以2019年美國聯邦《算法問責法案》第2條為例，第(b)(iii)和(iv)項規定應當評估消費者獲得自動化決策系統相關信息以及查閱運行結果并對其進行更正或者反對的難易程度；該條(d)款規定：“應當評估所涉主體為減少自動化決策系統對消費者隱私或者安全風險以及可能導致的偏誤和歧視風險而采取的技術性和物力性保障措施”。由此可見，立法者是遵循技術防治、權利救濟的思路來具體設定問責維度的評估指標體系的。加拿大《自動化決策指令》設定的評估指標，重點強調數據質量問題檢測流程、系統設計、開發、維護和改進的歸責機制和措施以及規范檢測數據偏差等技術防治措施。加拿大《自動化決策指令》從評估決定的通知和公布、決策后提供解釋、訪問組件、政府對所有已發布專有組件審計、調查、檢查保留權、源代碼發布等算法透明度措施加以規定。
綜上所述，美國和加拿大的立法者以技術架構、影響維度和算法問責制為核心，構建了三位一體、互有補充、同向發力的算法影響評估框架。雖然具體指標各有側重，但均以建立差異化、場景化、精準化的算法治理框架為建構宗旨。因此，紐約市自動化決策工作組提出應盡快制定優先性指南，提出關鍵概念和原則，對最重要的工具和系統按照優先級展開評估。加拿大的立法更為系統和精確，依據影響評估后獲得的4個風險等級，從同行評審、通知、人際回圈決策、解釋要求、測試要求、檢測、訓練、應急計劃和系統運行批準共9個方面，形成了具有精確性、協同性和系統性特征的治理框架，為場景化、精準化算法治理愿景提供了有益的范本。
（四）以敏捷治理思路打造智能評估工具
面對監管資源稀缺、監管對象復雜的挑戰，監管者亟須開發和嘗試新的思路，合理設定監管閾值，在科技創新與風險控制之間尋求良好的平衡。因此，以創建具有柔韌性、流動性、靈活性和適應性監管框架為宗旨，以實現監管目標多元平衡、監管過程動態優化以及監管工具靈活轉換的敏捷治理理念應運而生。在這一理念的引領之下，各國算法影響評估制度重點對監管工具進行了智能化革新，以數字化、實時性、可擴展性和智能化為目標，運用技術手段對評估工具進行深度的改進。
以加拿大《自動化決策指令》為例，立法者運用動態編程語言創建開源性算法影響評估模型，以系統類別和目的、決策效用類型、決策解釋性、系統潛在影響檢測機制、公眾回應和投訴機制等類別生成評估所需要的系列問題，依據該指令附錄C的評估要求按照每類問題的重要性精確設定權重。例如，評估模型將自動化決策系統對社會、經濟和政府影響的權重設定得更高，大于其對數據管理實踐和程序公平性影響的權重。在每個類別項下，每一具體問題又相應配比風險系數，依據不同的答案選項單獨設定評分編碼，據此生成5個類別的加總得分。參與者僅需花費35分鐘即可利用該評估模型完成一項評估，得出參評系統影響風險所在等級的精確指引，既便于監管者和設計者追蹤風險產生的具體環節，又可依據影響等級精準化地確定應履行的程序性義務。當自動化決策系統的功能或者應用場景發生改變時，評估模型會依據新的因素及時更新。
通過對核心應用領域、評估實現路徑、指標設計邏輯和評估運行工具的深入分析，可以發現不同國家的制度設計方案雖各具特色，但仍然反映了人工智能治理框架和規范構建的核心共識和發展規律。對這些有益實踐的科學借鑒，既有助于我國算法治理體系的建立和完善，又為探索更為人性化、場景化、精準化和敏捷化的人工智能治理框架奠定了重要的基礎。
四、中國算法影響評估制度的構建方案
全球人工智能發展已經邁入新階段。為促進新一代人工智能健康發展，2019年6月，我國國家新一代人工智能治理專業委員會發布《新一代人工智能治理原則——發展負責任的人工智能》（以下簡稱《治理原則》），提出了我國人工智能的治理框架和行動指南。《治理原則》不僅強調了人工智能的可問責性，而且還提出了公平公正、尊重隱私、安全可控、開放協作、敏捷治理等8項重要原則。這些原則既體現了在新一輪科技革命中我國作為人工智能發展大國的責任與擔當，充分展現了我國科技創新政策體系的建設能力，又為實現創新型國家和世界科技強國愿景提供了堅實的制度基礎。目前，人工智能全球治理已經在規則制定層面展開博弈，以美國、加拿大和英國為代表，多國立法者已經在算法影響評估領域率先布局，旨在占據國際標準和治理規則制定議程中的優勢地位。2019年8月，美國商務部國家標準和技術研究所發布了美國聯邦參與制定技術標準的詳細計劃，確定了9個人工智能技術標準領域，其中對人工智能安全、風險管理以及可解釋性和安全性方面施以特別關注；該計劃還特別提到3個“非技術性”的人工智能標準，包括社會和道德相關、治理相關以及隱私相關的標準。2020年歐盟《人工智能白皮書》明確提出歐洲尚缺乏共同的人工智能監管框架，應當盡快建立基于風險和場景的應用風險等級評估，構建卓越、可信的人工智能體系框架，重獲技術主權優勢地位。由此可見，以算法影響評估制度為代表的人工智能領域立法具有國內和國際層面的現實緊迫性，我國應予以重點關注。作為人工智能的底層技術，算法影響評估制度已經成為人工智能治理議程的源頭節點。鑒此，在厘清算法影響評估制度的核心優勢以及對域外算法影響評估制度進行審視和剖析的基礎上，本文結合我國人工智能產業發展和規制現狀、算法技術運行邏輯、制度設計內在機理和協同評估機制，提出構建中國算法影響評估制度方案的3項建議。
（一）科學制定算法影響評估制度的構建規劃和基本路徑
算法影響評估制度的現有立法樣本均體現了階段性、場景化、精準化、類型化的創制思路。算法影響評估制度作為人工智能立法的先行領域，雖然具有較強的現實緊迫性，但立法者和監管者應審慎冷靜，從算法應用現狀、核心治理目標出發綜合確定優先適用的核心領域和關鍵系統類型，科學合理地確定構建規劃和基本路徑。
首先，應當根據我國自動化決策系統應用現狀，以公共事業場景為先導，結合風險等級確定優先適用的核心領域。就行業發展規律而言，我國算法技術應用的價值鏈布局側重于技術層和應用層，比較偏好技術相對成熟、應用場景清晰的領域。具體到公共事業領域，對社會治理創新和國家治理現代化目標的切實推進促使政府端成為自動化決策系統切入智慧政務和公共安全應用場景的主要平臺。例如，深圳市寶安區利用覆蓋全區的公共信用信息平臺集合所有法人、自然人的信用檔案形成信用畫像，同步實現自動推送信用信息、自動識別黑紅名單、自動提示獎懲依據、自動實施限制處理、自動反饋處理結果等信用聯合獎懲智能模式。除此以外，算法技術在智能安防、金融風控、城建監管、公共衛生防治、警務預測和司法審判等先導領域也已經得到廣泛適用。由于在這些領域應用自動化決策系統，既可能會對經濟、社會、生態產生重大影響，也可能會對個人和特定團體的權利產生實質影響，因此，處于算法應用鏈條的高風險一端，具有優先評估的現實緊迫性。在進行具體的制度設計時，建議以“自上而下”的思路，系統評估算法應用在我國公私領域的風險特征，以公共事業場景為基礎先導，結合風險等級確定優先適用的關鍵領域。
其次，根據核心目標、技術架構和影響維度并結合已識別的關鍵領域來確定優先和重點評估的關鍵系統類型。依據《治理原則》，結合人工智能治理的全球共識，我國應當圍繞公平公正、尊重隱私、安全可控、可信負責建立核心目標，探索我國的算法影響評估標準。在以公共事業為先導的布局之下，結合技術架構和影響維度來識別高風險應用場景和系統類型并予以優先評估。具體而言，應當以架構復雜性、部署目的、任務類型、影響主體、影響范圍、影響程度、所涉數據和個人信息的敏感程度為基礎，探索建立識別高風險自動化決策系統的評估指標體系。仍以社會信用治理實踐為例，不同治理環節所涉及的模型系統具有風險差異性：在信用畫像環節，可能涉及預測算法、機器學習、推薦算法、相似度計算、分類和聚類計算以及文本挖掘算法等多種算法技術和模型，實現決策執行、決策輔助甚至代理決策等功能；而在信用信息推送、黑紅名單識別、獎懲依據自動提示、自動反饋處理結果等執行環節，則普遍應用語義分析、協同過濾等模型，多體現為純粹的決策執行功能。后者與前者相比，對經濟、社會和個人權利的影響程度有所不同。因此，信用畫像環節的自動化決策應用應當被進一步清晰識別為關鍵領域從而進行優先和重點評估，適用更嚴格的風險監管要求。除此以外，系統部署的緊迫性、系統技術復雜程度、數據使用特性等重要指標均應容納在內，作為共同識別關鍵領域和優先重點評估系統類型的衡量標準。總體而言，除“自上而下”的思路之外，還應“自下而上”地以核心價值目標、技術架構和影響維度為基準，結合已識別的關鍵領域動態確定優先和重點評估的關鍵系統類型，科學匹配評估指標和風險管控等級。
（二）精細化制度設計并強化制度執行實效
人工智能時代的技術建模和運行模式以精細化、顆粒度為未來迭代方向。受益于數據深度挖掘技術的日益成熟，人工智能應用更加注重投入產出比，更加注重精準預測和精確分析，具有架構復雜、場景多元、流程繁復等特質。這就要求算法治理領域的規則設計更加精細化，治理秩序的建構更具實效性。因此，有學者提出“個性化法律”理念，以充分考慮規制對象的異質性、規則對場景的反饋性以及規則制定的精細性。具體到我國算法影響評估領域的規則構建，重點應考慮以下兩個方面。
首先，應以精準化治理為目標推動算法影響評估制度的精細化設計。算法影響評估制度旨在通過建立科學合理的評估指標對多元場景的算法應用予以系統評估，為實行差異化、精準化監管奠定規則基礎。要實現這一目標，尤為需要踐行科學化、精細化的制度建構思路，避免因缺乏必要精度或者量化標準而使評估流于形式。目前各個版本的算法影響評估制度不同程度地面臨著精細化制度設計的挑戰。例如，算法影響評估制度需要對“風險”“重大利益關系”“責任”等關鍵概念進行微觀制度設計。但目前域外立法對于這些關鍵概念仍然缺乏量化標準和必要精度，這導致評估量表中的諸多關鍵問題缺乏可操作性，進而影響算法問責制的有效實施。因此，我國立法者應秉持結構細分、精度量化的設計思路，參考ISO31000風險管理標準等構建策略，對關鍵概念進行必要的量化和精準設計。
其次，應探索建立穩定的執行保障機制以確保制度執行實效。如前所述，算法影響評估制度服務于人工智能治理創新的關鍵需求，是算法問責制有效建立的重要基礎。但美國紐約市的算法治理實踐表明，因缺乏有力的執行保障機制，政府僅通過建立統一的評估框架來對算法應用實踐予以引導，此種規制策略的效果不容樂觀。例如，在美國紐約市的算法影響評估實踐中，由于紐約市自動化決策工作組不具有明確的執法權，法條中也未明晰拒絕執行評估制度的主體應當承擔何種法律責任，因此造成制度難以長久產生實效的困境。以此為鑒，美國聯邦的立法通過明確授予美國聯邦貿易委員會根據《美國聯邦貿易委員會法》第5節關于欺騙性和不公平行為的規定以及授予其通過系統所在州總檢察長提起民事訴訟的權力，較好地回應了實效不足的挑戰。加拿大《自動化決策指令》第7條也明確規定，如果不遵守該指令，那么可由財政委員會依據《金融管理法》采取適當和可接受的任何措施。與此同時，依據《合規管理框架》，相應的機構和個人應當承擔相應的法律后果。借鑒這些做法，我國立法者應當在規則設計時重視執行保障機制的設立，細化未能有效履行評估義務的主體責任，科學借助算法公開制度賦予公眾的知情權和監督權，適時設定專門機構或者行政職位，為建立穩定的執行保障機制奠定組織基礎。
（三）合理構建內外兼具且激勵相容的協同評估機制
如前所述，美國紐約市是建立算法影響評估制度的先行者。推動其立法的一項核心動因在于非營利組織“為了人民”（ProPublica）于2016年5月發布的“機器偏差”調查報告。該報告重在評估和審查，對美國司法領域被告再犯風險預測和評估算法的潛在偏誤和種族歧視問題予以系統揭露。在“為了人民”組織（ProPublica）之外，依托紐約大學運行的人工智能現代研究所作為跨學科機構也對紐約市算法影響評估立法議程和實施機制進行了有力的推動。因此，紐約市的算法影響評估制度呈現出政府主導、行業參與、團體推動的協同評估特質。這種內外兼具的多元化協同機制既為公私場景中的算法影響評估實踐提供了制度靈活性和延展性，又從內在機理上有效貼合算法設計者和運行者的激勵機制，有助于知識產權、商業秘密和算法評估制度的兼容與調和。
在我國，《中華人民共和國數據安全法（草案）》第9條明確規定：“國家建立健全數據安全協同治理體系，推動有關部門、行業組織、企業和個人等共同參與數據安全保護工作，形成全社會共同維護數據安全和促進發展的良好環境”。《中華人民共和國個人信息保護法（草案）》［以下簡稱《個人信息保護法（草案）》］第11條亦明確規定：“國家……推動形成政府、企業、相關行業組織、社會公眾共同參與個人信息保護的良好環境。”由此可見，無論是在數據安全領域，還是在個人信息保護領域，探索內外兼具、激勵相容的協同治理機制已成為我國在數據、算法等科技領域打造新型治理機制的重要抓手。但在實踐層面，這一理念尚未得到充分重視。例如，伴隨著2015年國家創建社會信用體系建設示范城市工作的腳步，杭州、蘇州、榮成等10多地政府都已推出體現地方信用治理特色的社會信用評分項目。以芝麻信用、騰訊征信、京東征信等為代表的第三方信用評估機構提供的信用分以及以聯通和移動構成的電信運營商信用分漸次展開。但是，無論是城市個人信用分，還是第三方機構的商業信用分，在制定、異議、救濟和評估環節均未向公眾提供參與渠道，第三方非營利組織的外部監督和有效評估更為鮮見。例如，《福州市個人信用積分管理暫行辦法》第13條規定：“市信用辦應定期對個人信用積分評價規則進行修正、補充與完善，并向社會公布”。但這一規定僅對公布環節進行了規定，而在指標設定、權重計算、模型評估等設計環節卻付之闕如，凸顯出協同治理機制的缺失。
因此，以《個人信息保護法（草案）》的制定為契機，我國在立法中應當進一步細化對算法影響評估制度多元化協同機制的具體設計和實施機制。首先，應當以評估優先級為指引，建立政府主導的算法影響評估機制。具體而言，可以由國家互聯網信息管理部門作為牽頭機構組建集中化、一體化的評估機制，按照前文提出的評估優先級對高風險自動化系統開展定期評估。其次，由國家互聯網信息管理部門按照職責權限推進算法影響評估服務體系建設，支持有關機構開展算法影響評估和認證服務。具體的開展模式可以借鑒德勤等開展算法審計業務專門機構的業務規則，支持政府和商業主體在分級分類基礎上對算法應用開展不定期的內部和第三方影響評估。最后，參考和借鑒美國紐約市自動化決策工作組創建的多方協作機制，定期與高校和科研機構、社會公眾以及非政府組織開展協作，探索構建開放型的多元化評估協同機制。
五、結 語
隨著數字經濟和智能經濟的迅猛發展，我國經濟和社會正經歷著前所未有的深度變革。算法技術在商業和公共事業領域的嵌入式應用雖然蘊含著巨大的發展潛力，但是也對我國自工業社會以來形成的立法模式和治理模式發起不斷沖擊，引發了諸多治理痛點。與其他數字技術有所不同，作為底層架構的算法，以商業資本或者政治權力為驅動力，在擴展式嵌入社會經濟等多元決策場景時逐漸展現出系統性和積累性決策效果。有學者曾因此提出應當通過一定的程序進入到自動化決策系統內部，了解系統的技術細節以及其對于社會秩序的相應潛力，并對其融入組織、程序和決策的過程進行系統問責。算法影響評估制度以確保決策質量和安全為基本目標，采用全周期動態思維，系統評估算法應用可能帶來的社會影響和多元風險，同時致力于探尋降低風險的應對措施，為算法問責制在微觀規則層面提供有力抓手。通過設定核心評估體系，算法影響評估制度將基礎法律原則融入技術設計和行業規范之中，在法律規制與技術創新之間動態構建良性平衡，以此構筑算法信任，助力場景化和精準化的算法治理，與數據保護影響評估制度形成有效勾連。本文以美國和加拿大算法影響評估制度為典型樣本，深度剖析了制度構建的共識性機理，并從行業發展規律、構建路徑、制度運行邏輯和新型協同機制等方面提出了構建本土化方案的核心策略。須指出的是，由于制度的有效性不僅取決于內生因素，而且還受到社會價值、具體情境以及更為廣泛的制度環境的綜合影響，因此未來還應當對算法影響評估制度的配套機制、與數據保護影響評估制度的銜接機制等核心議題進行深入研究，以期為算法影響評估制度的有效運行構建良好的運行生態。
《數字法治》專題由華東政法大學數字法治研究院供稿。專題統籌：秦前松
編輯：海洋