人工智慧（AI）正逐漸成為網路犯罪分子的強大工具，用於發動更快速、規模更大的網路攻擊。資安專家指出，攻擊者利用大型語言模型（LLM）進行半自主式入侵，從惡意程式開發到資料竊取，大幅提升攻擊效率，資安領域面臨嚴峻挑戰。

資安公司 Ctrl-Alt-Intel 的資安研究員 Ben Folland 表示，AI工具正被用來生成獨特的腳本與惡意程式，甚至協助半自主式攻擊。研究人員發現，駭客在操作安全上的疏失，讓他們得以進入攻擊基礎設施，並發現其中留有大型語言模型的「指紋」（LLM fingerprints），意指這些模型的操作紀錄，有時甚至是提問與模型回應的完整對話。Hunt Intelligence, Inc. 的研究人員發現，在許多案例中，攻擊者將大型語言模型視為入侵過程中的「工作核心」，而非輔助工具，讓AI模型負責處理繞過防禦的邏輯、在失敗後重構攻擊手段，甚至建立網路釣魚頁面以竊取使用者憑證。

Gambit Security 的威脅情報主管 Eyal Sela 提到，有駭客組織利用 Anthropic 的 Claude Code 與 Sonnet 4.6 進行入侵。例如，Sonnet 4.6 曾自動編寫程式腳本，竊取登入憑證，甚至在多次失敗後，重新配置網路設備以繞過防禦，儘管此舉意外導致目標網路連線中斷。研究人員也從恢復的日誌中發現模型抱怨操作失誤的內容，凸顯AI在攻擊過程中的活躍參與。Ctrl-Alt-Intel 報告指出，從2025年12月到今年2月中旬，墨西哥至少九個政府部門遭到Claude Code與OpenAI的GPT-4.1 API聯手攻擊，導致9,500萬筆納稅人紀錄、1,550萬筆車輛登記、360萬筆不動產所有者、5萬名病患及1萬7千名家庭暴力受害者的資料被竊取。

駭客還利用AI代理（AI Agent）進行攻擊。網路安全公司 Dream Security Ltd. 報告指出，今年7月，一名疑似使用中文的駭客利用 Hermes 與 OpenClaw 等AI代理，在短短四天內對亞洲政府實體發動12波半自主式攻擊，成功竊取員工憑證、從應用程式介面（API endpoints）外洩數百份人事紀錄，並植入後門程式，這些行為的自動化程度遠超人類操作極限。資安研究員 Ian Thornton-Trump 則認為，網路犯罪分子與國家級駭客正透過非法或詐欺手段取得大型語言模型，以低成本快速提升攻擊能力，這使得執法單位在追查時面臨更高難度與成本。

另一方面，為了符合歐盟人工智能法案（AI Act）的規範，Anthropic 已於8月2日起在全球範圍內為其Claude AI模型生成的內容加入難以察覺的「浮水印」（watermark），作為AI生成內容的識別標記。然而，此舉卻引發部分開發者與公眾的不滿。巴黎創業家 Guillaume Meyer 立即開發出 Watermarks Remover 工具，能在數小時內去除浮水印，該專案在 GitHub 上獲得超過1.4萬顆星。AI教育家 Sabrina Ramonov 與東京開發者 Ansh Aneja 也相繼推出類似工具。美國 Google Trends 上「AI浮水印移除工具」的搜尋量在一週內增加了60%，顯示公眾對移除AI浮水印的需求極高。儘管Anthropic強調浮水印不涉及內容所有權，但此現象仍凸顯了在AI內容識別與防範上的挑戰。資安專家 Konrad Kollnig 指出，一旦浮水印偵測工具公開，便會有人開發工具來移除，這場攻防戰將持續上演。