美國網路安全暨基礎設施安全局（CISA）正運用Anthropic旗下的人工智慧（AI）模型 Mythos，掃描政府軟體程式碼庫，以偵測外國間諜或網路犯罪份子可能利用的漏洞。這項行動由CISA的 Attack Surface Evaluation team 負責執行，他們在政府內部進行數位安全評估與駭客演練，據悉已發現大量資安弱點。

Anthropic與美國政府的合作關係曾歷經波折。去年二月，Anthropic因拒絕移除 AI 模型中防止其被用於自動化武器或國內監控的保護措施，引發五角大廈將其列為供應鏈風險名單。該名單通常用於被懷疑從事間諜活動的外國企業。然而，這項禁令於去年三月遭法院法官駁回。儘管如此，去年四月美國國家安全局（NSA）仍開始採用 Mythos 模型。上個月，川普（Donald Trump）政府曾要求 Anthropic 撤回其 Mythos 5 和 Fable 5 AI 模型，理由是擔憂其內部安全防護措施可能被規避，即俗稱的「越獄」（jailbreak），但數週後便同意有限度地重新發布 Mythos 5。Anthropic 後於去年七月一日重新向公眾開放 Fable 5，同時提供 Mythos 5 給約一百個美國機構及政府單位使用。

隨著 AI 技術發展，相關資安風險也隨之浮現。總部位於中國北京的 Z.ai 公司，近期發表了一款開源權重模型 GLM-5.2。這款模型具備大規模程式開發能力，也能有效識別軟體漏洞，其能力被認為可媲美 Anthropic 的最新模型。GLM-5.2 允許任何人下載並在幾乎任何硬體上本地運行，且無需透過供應商介面，這引發了安全疑慮。資安公司 Semgrep 和 Graphistry 已證實 GLM-5.2 在識別軟體錯誤和執行網路安全任務方面的能力，但 Armadin 科技長 Travis Lanham 警告，攻擊者能在本地端運行此模型，移除安全限制，並針對特定目標進行微調，且操作過程對任何服務供應商或防禦者而言都「零可視性」。駭客論壇據傳已在俄語社群中交易 GLM-5.2 的越獄方法。

面對 AI 模型的安全挑戰，各大企業已開始採取預防措施。阿里巴巴集團宣布，從本週五（7月10日）起，將禁止員工使用 Anthropic 的 Claude Code，理由是其存在潛在的「後門」風險。Anthropic 曾指控阿里巴巴透過數千個虛假帳戶存取 Claude 並訓練其自身 AI 模型，並已更新服務條款，限制中國等特定地區的存取。此外，Meta Platforms、高盛（Goldman Sachs）和摩根大通（JPMorgan Chase）等公司也出於許可和數據安全考量，限制了員工對 Anthropic AI 工具的使用。

值得注意的是，Anthropic 研究發現其 Claude AI 模型具有「J-space」的內部神經模式，可在模型內部神經活動中無聲運作，使模型能在不顯性表達的情況下思考概念。Anthropic 表示，J-space 並非刻意設計或編程，而是在 Claude 的訓練過程中自然生成。這項發現雖不代表 Claude 具備人類意識，但 Anthropic 認為其對未來開發安全的 AI 系統具有重要意義。Anthropic 共同創辦人兼執行長達里奧·阿莫代（Dario Amodei）曾指出，人類即將掌握難以想像的力量，而社會、政治和科技系統是否具備駕馭這股力量的成熟度，仍是未知數。