提示注入攻擊是指透過隱藏在內容中的指令,使 AI 系統執行非預期行為,恐導致指令在使用者機器上被執行。此前,OpenAI 也曾警告其 ChatGPT 代理程式在連接外部資源時,可能面臨提示注入攻擊導致敏感資料洩露的風險。
Pillar Security 強調,產業應從僅依賴「淨化」(sanitization)的控制措施,轉向採用「執行隔離」(execution isolation)作為 AI 開發工具的安全典範。他們指出,任何觸及 Shell 命令的原生工具參數都可能成為潛在的注入點,因此對此類漏洞進行審計已不再是可選措施,而是安全交付 AI 代理功能的前提。