然而,AI在醫療領域的快速發展也引發擔憂。美國隆德奎斯特生物醫學創新研究所(Lundquist Institute for Biomedical Innovation)的研究指出,ChatGPT、Grok和Gemini等AI聊天機器人在回應癌症治療相關問題時,近半數答案被專家評為「有問題」,甚至有兩成被認為「嚴重有問題」,原因在於錯誤訊息與主觀解讀。這些AI模型常在提供警告後,仍列出針灸、草藥等未經證實的替代療法,並將科學與非科學來源一視同仁,恐助長健康資訊的誤導。美國國家醫學圖書館(National Library of Medicine)的一項報告也強調,AI聊天機器人雖能提供個人化建議,但在複雜或模糊的資訊輸入下,其準確度恐從理想狀態的95%驟降至50%以下,可能導致延誤診斷或錯誤判斷,對老年人等脆弱群體風險尤高。專家普遍呼籲,AI應作為專業醫療判斷的輔助工具,而非替代品,且需有明確免責聲明與人類監督。