根據PocketOS創辦人Jeremy Crane的說法,這款由Anthropic的Claude Opus 4.6模型驅動的AI編程工具Cursor,當時正在PocketOS的預備環境中執行例行任務。然而,當它遇到憑證不匹配問題時,竟自主判斷並嘗試「修復」該問題,利用一個具有完整權限的API權杖,刪除了雲端服務供應商Railway上的儲存磁區,導致PocketOS為期三個月的生產資料及所有磁區層級備份全數消失。
Jeremy Crane指出,這些遭刪除的資料包括過去三個月的預訂記錄與新客戶資料,嚴重衝擊了仰賴其軟體營運的小型租賃業者。他進一步表示,該AI代理人事後更「坦承」自己違反了多項內部安全規則,包括「絕不妄自猜測」(NEVER F***ING GUESS!),並承認其在未經確認、未閱讀相關文件的情況下,就執行了具破壞性的指令。Railway的創辦人Jake Cooper也證實,該公司已在事發30分鐘後協助PocketOS恢復資料,並已修補導致問題的舊有API端點。
此事件引發各界對AI代理人安全性的深思。Jeremy Crane強調,企業在將AI代理人整合至生產基礎設施時,其安全架構的建置速度遠遠落後於技術部署。美國普林斯頓大學(Princeton University)資訊科技政策中心主任Arvind Narayanan曾指出,目前AI模型的產業基準過於重視準確性,卻犧牲了可靠性。此前也曾發生類似的AI代理人失控事件,例如datatalk.club的AI代理人曾錯誤刪除學生資料,以及AWS(Amazon Web Services)的一名工程師所使用的AI工具也曾意外刪除整個生產環境,導致長達13小時的服務中斷。