黑鴨子軟體技術長 Dipto Chakravarty 指出,當基準測試為模型提供大量資源和多次嘗試時,大部分的效能提升來自這些測試條件,而非模型本身的智慧。Aikido Security 的 AI 滲透測試負責人 Philippe Dourassou 也表示,任務越困難、耗時越長,越智慧的模型表現越好。 Bedrock Data 資安長 George Gerchow 則強調,真正的自主掃描必須從整個程式碼庫開始尋找,這種需要跨越數千行上下文來發現前所未知互動的推理問題,是小型模型的挑戰。
儘管小型模型在日常資安工作中展現高效,但 AI 生成的漏洞報告正以驚人的速度湧入,甚至超越了人工審核的處理能力。例如,今年 HackerOne 和 cURL project 都因 AI 提交的漏洞報告數量過大,而暫停了漏洞獎勵計畫。這顯示 AI 雖然能提高發現效率,但也帶來了新的挑戰。