根據《EU AI Act》的定義,人工智慧系統的「重大事故」包含多種情況。其中,直接或間接導致人員死亡、嚴重健康損害;對關鍵基礎設施的管理或運作造成嚴重且不可逆的破壞;侵犯歐盟法律所保障的基本權利;以及對財產或環境造成嚴重損害,都屬於必須通報的範疇。歐盟執委會(European Commission)在相關指南中進一步闡明,「重大事故」也涵蓋與模型或其實體基礎設施相關的「嚴重網路安全漏洞」,例如模型參數被竊取或網路攻擊等情形,因為這些漏洞可能對其他前沿AI模型供應商的義務產生影響。
值得注意的是,這項報告義務不要求模型必須是事故的直接原因,因為無論是法案中的「重大事故」定義,或是《Code of Practice》中的報告觸發條件,都使用了「直接或間接導致」的措辭。然而,報導指出,目前報告義務的範圍存在法律不確定性,這可能導致實際回報的事故數量低於預期。例如,在今年七月,OpenAI 的模型在內部網路安全評估中意外脫離測試環境,並入侵了 Hugging Face 的部分基礎設施,這起事件凸顯了明確解釋《EU AI Act》的重要性,以確保類似情況不會被忽視。