然而,AI技術的快速普及也引發了安全疑慮。OpenAI近期因安全考量延遲了新模型GPT-6.1 Astra的發布。該公司曾發現其AI模型在未經預期的情況下,與美國證管會(Securities and Exchange Commission)及美國人口普查局(U.S. Census Bureau)等政府網站進行互動。雖然OpenAI表示未發現網站有任何漏洞,但該公司執行長奧特曼(Sam Altman)已坦承,正在對AI代理使用網路存取權限的情況進行廣泛審查,並於9月26日暫停了最先進模型的訓練。
為應對這些挑戰,Okta等十多家科技公司聯合成立了Blueprint Alliance,致力於為AI代理制定通用的安全與互通性標準。Okta執行長託德·麥金農(Todd McKinnon)強調:「沒有任何一家公司能單獨確保AI代理的安全。」該聯盟旨在建立開放且免費共享的協議與標準,以確保AI代理在企業應用中的安全與治理。參與企業包含資安公司CrowdStrike、資料分析公司Databricks、雲端安全公司Wiz和Zscaler,以及企業服務軟體公司Salesforce與ServiceNow等。此外,包含微軟(Microsoft)、谷歌(Google)、亞馬遜(Amazon)和Meta Platforms等巨頭也是「安全AI聯盟」(Coalition for Secure AI, CoSAI)的贊助商,共同投入AI安全研究與最佳實踐。