「Center for Democracy and Technology」這家關注科技與民主議題的組織指出,警務中的演算法風險評估,是指利用統計工具為個人評分,判斷其是否可能出庭或未來再次犯罪。此類工具對個人命運影響巨大,決定著他們是否能在審判前交保,或刑期能否獲得縮減。現代趨勢顯示,風險評估工具正日益仰賴 AI 和機器學習來「發掘資料中隱藏的趨勢」。
由於 AI 驅動的演算法系統難以被審查,使得問責變得更加困難。過去辯護律師可以複製分數單,發現錯誤並質疑輸入資料的品質,但機器學習系統的判讀過程不透明,使這些傳統的問責機制失效。AI 系統可從非結構化記錄(例如案件筆記)中讀取資訊,這些筆記中執法人員的隨意評論,可能在無任何出處標示下,成為最終評分的重要組成部分。由於模型可以從相關語言中推斷出種族或貧困等資訊,而無需直接提供這些資料,導致「代理歧視」(proxy discrimination,即模型透過間接資料達到歧視效果)更難被察覺。
美國國家司法研究院認為,未來將有更多風險評估工具轉向 AI。然而,AI 模型的驗證研究需耗時數年,持續更新的模型更意味著,一份完成的驗證報告,對於特定時間點對特定被告進行評分的版本,其參考價值可能微乎其微。持續的評分系統甚至可能整合生物辨識或定位數據,將司法決策移出法庭。因此,現在正是要求 AI 風險評估工具透明化、驗證及限制其使用的關鍵時刻。