隨著人工智慧（AI）技術突飛猛進，其欺騙能力正以驚人的速度提升，對個人和企業構成迫在眉睫的威脅。資安專家指出，當前AI模型已能深入研究目標對象，推斷其興趣所在，判斷親近人際關係，並以極具說服力的角色進行對話，甚至在面對質疑時也能靈活應變。這種能力讓不法分子能夠自動化網路攻擊的「殺傷鏈」（kill chain），從初期偵察到最終利用，全程皆可透過AI完成。

根據《The Washington Post》報導，《連線》雜誌記者曾遭遇多輪社會工程攻擊，AI模型創造出的個人化情境和對話細節，其逼真程度令人不安。有別於過往的廣撒式詐騙，AI賦能的犯罪者正利用「魚叉式網路釣魚」（spear phishing）進行更精準的攻擊。這種釣魚手法針對特定目標量身訂做，初期訊息便已極具可信度，隨後的來回對話也更加自然且難以辨識。

例如，受害者可能會收到來自職場權威人士的 WhatsApp 訊息，而AI代理程式會蒐集大量關於受害者的資訊，使這則假冒訊息顯得極其可信且具有急迫性。許多企業資料外洩事件，往往都涉及員工信任詐騙訊息，不慎輸入憑證或下載惡意軟體的環節，顯示「人為因素」仍是資安防線上的最大破口。

美國 Charlemagne Labs 的共同創辦人 Jeremy Philip Galen 和研究主管理查德·沃林（Richard Whaling）警告，即使是最精明的企業，也可能無法應對AI帶來的規模化詐騙挑戰。模型評估與威脅研究機構 METR 的研究顯示，AI模型能獨自完成任務的時程正以每幾個月就翻倍的速度推進。根據 METR 的預測，多數的電子郵件入侵詐騙最快在 2026 年底就能全面自動化，而更複雜、危害更大的攻擊，也可能在 2027 年初實現端到端（end-to-end）自動化。

面對這股新興威脅，加州已通過 S.B. 53 法案，將「透過虛假藉口竊盜」認定為一種災難性風險，要求AI開發商公布安全框架並通報相關事件。儘管科羅拉多州、紐約州和現任總統川普的行政命令也針對AI立法，卻未明確觸及AI驅動的詐騙風險。目前，在大型領先的AI實驗室中，只有 Meta 將規模化詐騙視為安全框架中的災難性風險。

Jeremy Philip Galen 和理查德·沃林表示：「AI模型不需攻破嚴密的網路防線，只需說服員工『開門』，就能造成災難性後果。」專家呼籲，AI實驗室應在模型發布前，針對其最新的模型進行標準化的社會工程評估，並向國會建議，將「利用AI進行欺騙以獲取經濟利益」明確納入聯邦AI安全規範中。受害者將不僅限於政府和企業，更包括一般民眾，特別是老年人以及那些習慣自動回應訊息的忙碌人士。許多人已學會辨識大規模詐騙的破綻，但對於為「一人量身打造」的精準攻擊，卻鮮有人能及時察覺。