根據《Center for Data Innovation》的報告指出,公共部門不能落後於AI的發展浪潮。而為確保AI系統部署的可信度與安全性,Gartner 提出的 AI TRiSM 框架(AI信任、風險與安全管理)正受到越來越多政府機構的重視。AI TRiSM 是一個全面性的框架,旨在管理AI模型的治理、可信度、公平性、可靠性、安全性及資料保護,而非僅依賴一次性的治理審查。專家 Rosiek 指出,AI發展速度之快,現有框架與法規難以跟上,且AI在某些方面具不可預測性,決策原因可能不明,因此須預先防範,而非問題發生後才被動應對。
第二個核心步驟是持續監測AI模型的偏差、漂移(模型效能隨時間下降)和準確性下降問題。由於AI系統運作速度極快,且其行為會隨資料變化而改變,因此持續監測尤為重要。在AI部署初期,仍需要人工審查AI的輸出結果並批准相關動作(即「人在迴路中」,humans in the loop)。然而,為了充分發揮AI的效益,Rosiek 預期未來將逐漸轉變為「人在迴路外」(humans on the loop),即工作人員主要負責監測系統,而非審批每一個單獨的動作。