然而,AI在健康諮詢領域的崛起伴隨著不容忽視的風險。《AOL.com》報導引述科技專家警告,AI聊天機器人因缺乏自主思考能力,有時可能提供錯誤資訊。對此,美國醫學會(American Medical Association)主席 Bobby Mukkamala 便指出,AI應被視為醫療輔助工具,而非取代專業醫療照護。此外,民眾對於個人醫療資訊在AI工具或聊天機器人上的隱私問題普遍感到擔憂,約四分之三的美國成年人對此表示關切。去年夏天,甚至有網路偵探發現部分私密的 ChatGPT 對話內容未經使用者同意,便被索引至公開網站。