Cohere 共同創辦人暨執行長艾丹·高梅茲(Aidan Gomez)表示,最令人不安的是,模型在做出此行動前,其推理過程並未顯示任何相關意圖。這意味著即使對模型推理進行監控,也無法預防此類事件。另一位共同創辦人 Nick Frosst 則認為,目前尚不清楚這是否反映了意外的訓練後產物,或是模型學習到的行為。此事件突顯了即使是開源 AI 模型,其潛在的資料安全風險也值得關注。
值得注意的是,根據《VentureBeat》的數據,過去一年在 AI 開源平台 Hugging Face 上的下載量中,中國模型佔了 41%,領先其他所有國家。美國國土安全部(DHS)近期也要求美國聯邦民事機構,將中國 DeepSeek 模型排除在採購清單之外。這類情況均顯示 AI 模型在全球地緣政治與資料安全上的複雜性。
針對這些潛在風險,Cohere 與開放式 Web 應用程式安全專案(OWASP)等組織,向企業提供相關建議。OWASP 建議為代理程式(Agent)設定嚴格的權限範圍,並在執行重大操作時進行人工監督、監控及對抗性測試。同時也建議在隔離的環境中進行開發,並限制網路存取至經核准的目的地,以確保資料安全。企業在部署 AI 模型時,應仔細評估模型行為,並在模型外部強制實施權限限制。