這些數據缺漏對黑人、拉丁裔及低收入病患產生了不成比例的影響。史丹佛醫學院(Stanford Medicine)與芝加哥大學醫學院(University of Chicago Medicine)在2025年下半年發布的研究顯示,這些群體因其醫療系統關係不穩定,更容易產生零碎的醫療紀錄,進而使AI工具暴露於未定義狀態的風險中。約翰霍普金斯彭博公共衛生學院(Johns Hopkins Bloomberg School of Public Health)的瑪麗安·塔利卜(Mariam Talib)博士指出,這種不透明的假設運作方式,同時引發了知情同意和病患安全問題。
目前,美國食品藥物管理局(FDA)截至2026年初已核准超過950項AI醫療器材。儘管FDA在2024年的指引中,要求AI/機器學習軟體醫療器材(SaMD)的變更控制計畫需文件化模型處理分佈轉變的方式,但並未強制要求向終端使用者揭露未定義資料的處理協定。為此,美國參議員羅恩·懷登(Ron Wyden)與比爾·卡西迪(Bill Cassidy)於2025年9月提出兩黨合作的「醫學演算法責任法案」(Algorithmic Accountability in Medicine Act),該法案已於2026年2月通過委員會審查,正等待參議院全院表決。此法案將要求所有經FDA核准用於聯邦醫療保險和醫療補助請款的AI診斷工具,必須以簡明語言公開其空值處理協定。
然而,公眾對於醫療AI的認知仍有不足。皮尤研究中心(Pew Research Center)2025年的調查發現,高達67%的美國成年人不知道醫院正在使用AI診斷工具,僅有19%的受訪者表示曾被醫護人員告知其診斷或治療建議有AI輔助。未來,如何提升透明度、確保數據品質,並在AI發展與病患權益之間取得平衡,將是醫療界必須面對的關鍵課題。