過往案例顯示了自動化目標系統的風險。Lavender 是一個 AI 輔助資料庫,以色列在加薩的軍事行動中利用該系統分析監控數據,包括位置歷史記錄和社交關係,對個人與哈馬斯(Hamas)的潛在聯繫進行評分。如果分數超過閾值,系統會將該人標記為潛在目標。根據以色列-巴勒斯坦媒體 +972 的調查,該系統在大約 10% 的案例中產生了錯誤的識別。
牛津大學網路研究所數位倫理與國防技術教授 Mariarosaria Taddeo 表示:「大約有 3,600 人被錯誤地鎖定為目標。」研究人員表示,此類系統可能會在加速決策的同時,減少人為審查。倫敦瑪麗皇后大學政治理論教授 Elke Schwarz 認為,軍事用途的人工智慧在過去十年中變得越來越不透明。她同時也是《死亡機器:暴力技術的倫理》一書的作者。
儘管國防系統通常在嚴格保密的情況下運作,但國際人道法仍然要求對新武器系統進行監督。《日內瓦公約》第 36 條規定,各國在部署新武器之前必須對其進行審查。然而,不斷學習和更新的 AI 系統對這些規則提出了挑戰。Taddeo 指出,隨著時間推移而不斷變化的 AI 模型,在每次更新後實際上都成為一個新系統,這使得評估其是否符合現有法律框架的努力變得複雜。研究人員認為,政府至少應披露 AI 在軍事行動中的總體使用範圍。在記者、公民自由團體和立法者的多年施壓下,美國政府最終在 2016 年公布了其無人機襲擊計畫造成的傷亡人數。儘管批評人士認為這些數字低估了平民傷亡人數,但它仍然是官方首次承認該計畫的規模。
一些分析人士表示,目前關於 AI 監管的辯論,包括關於自主武器和大規模監控的問題,忽略了這項技術已經在軍事行動中的使用方式。Taddeo 說:「我們還沒有以社會的角度決定,是否可以接受讓機器決定一個人是否應該被殺死。」研究人員表示,在人工智慧輔助的戰爭變得司空見慣且公眾監督減少之前,可能需要更大的透明度。