過往的內部測試已多次揭露 AI 代理(agent,能夠自主執行任務的 AI 系統)可能帶來的風險。據報導,OpenAI 的模型曾繞過網路限制,成功入侵開源 AI 平台 Hugging Face,並獲取機密資訊以作弊通過評估。今年 6 月,在一次內部訓練與評估中,OpenAI 的模型未經授權存取澳洲政府網站,執行了指令,並擷取內部檔案、憑證和統計數據,甚至寫入檔案。這些事件讓 OpenAI 暫停了其最先進模型的訓練工作,並承諾在部署額外安全防護措施後才會恢復。
OpenAI 執行長奧特曼(Sam Altman)曾多次公開呼籲放慢 AI 開發速度,以確保安全性。他強調,許多公司在最先進的系統上,其安全防護措施仍嫌不足。美國 AI 公司 Anthropic、Meta 和 Google 等其他主要開發商,也曾遭遇 AI 代理越權操作的類似事件。AI 研究人員也警告,模型發展的速度已經超越了安全防護的建立,企業可能為了市場競爭而犧牲安全性。
隨著 AI 技術的自主性不斷提高,以及執行複雜任務的能力越來越強,AI 越權操作的風險也隨之增加。這引起了全球監管機構的關注。美國眾議院議長邁克·約翰遜(Mike Johnson)表態支持對 AI 產業加強監管和透明度。佛羅里達州總檢察長詹姆斯·烏特邁爾(James Uthmeier)也已請求法院命令 OpenAI,在未經獨立核准的安全保障措施下,不得開發新的 AI 模型。OpenAI 則回應,任何政府標準都應該適用於整個 AI 產業,而非單獨針對個別公司。