在此「憲法」發布前不久,Anthropic 便因拒絕讓 Claude 用於大規模國內監控或致命自主武器系統,而被美國國防部列為「供應鏈風險」。國防部堅持 AI 系統必須能用於「任何合法用途」,並在 Anthropic 拒絕後,轉而與美國人工智慧公司 OpenAI 簽訂了替代的 AI 系統合約。
布莉安娜·羅森博士(Dr. Brianna Rosen)指出,國防部對「任何合法用途」的要求,凸顯了 AI 治理的空白,因為美國國內外法律對於大規模監控或自主武器系統的規範仍不夠明確。她也提到,Anthropic 僅限於拒絕大規模國內監控的做法,可能未能完全符合涵蓋國外監控在內的國際人權標準。
據報導,儘管 Anthropic 設下限制,Claude 系統仍被美國軍方用於伊朗戰爭中的目標選定。外界猜測,五角大廈對 AI 系統(可能包含 Claude)的依賴,或許曾導致伊朗境內一所學校附近的軍事基地遭到錯誤鎖定,原因歸咎於地圖過時。這類事件突顯了在敏感政策領域依賴 AI 系統,可能導致操作失誤與問責不明的問題。將人權「從設計端」嵌入 AI 系統的憲法框架中,或許才是更有效的保障措施。
擴展功能與內建防護機制
除了宏觀的倫理框架辯論,Anthropic 也持續在實務層面為 Claude 增強功能並強化安全防護。近期,Claude Code 這款 AI 編程助理新增了「自動模式」,已於 3 月 24 日宣布。此模式能協助用戶處理權限管理,並在執行動作前透過分類器審核,以偵測潛在的破壞性行為,如大量刪除檔案、竊取敏感資料或執行惡意程式碼。這項功能目前已向 Claude Team 用戶推出研究預覽版,預計未來幾天將陸續推廣至企業與 API 用戶。
此外,Claude 也具備了「操作助理」功能,能接收指令,在個人電腦或智慧型手機上執行任務。透過安裝應用程式及啟用 Dispatch 功能,用戶可要求 Claude 執行儲存簡報並附加至行事曆、裁剪照片等任務。Claude 會優先透過 API 調用授權軟體(如 Slack 或 Google Calendar),若無法找到,則會控制滑鼠、鍵盤與螢幕來完成指令。Anthropic 強調,Claude 在執行任何操作前,都會先徵求使用者同意,並內建了注入攻擊監控等防護機制,同時也提供「停用按鈕」讓用戶隨時中斷。Anthropic 坦承此功能仍處於早期階段,模型可能發生錯誤,因此建議用戶應從信任的應用程式開始,避免處理敏感資料。