與此同時,AI發展的另一面向也引發社會層面的關注。根據法國資訊保護委員會(CNIL)與 Groupe VYV 委託益普索(Ipsos BVA)在今年初針對歐洲年輕族群進行的調查顯示,歐洲近半數年輕人曾使用AI聊天機器人討論親密或個人事務。調查範圍涵蓋法國、德國、瑞典與愛爾蘭,對象為 11 至 25 歲的年輕人。結果發現,51%的受訪者認為與聊天機器人討論心理健康與個人議題相對容易,高於與醫療專業人員(49%)或心理醫師(37%)對談的比例。
這項調查也指出,儘管高達 68%的受訪者認為與朋友聊天較容易,61%認為與父母對談容易,但許多使用者仍因AI工具的隨時可用性與不帶批判的特性,將其視為「人生顧問」或「知己」。瑞典卡羅琳學院(Karolinska Institutet)的心理學家暨數位健康研究員 Ludwig Franke Föyen 指出,AI能提供資訊與支持,但不應取代人際關係或專業護理。他警示,若有人轉向聊天機器人而非親友或心理健康專業人士尋求協助,這將是一個值得擔憂的現象,我們不希望科技使人感到更加孤單。
過去一年來,AI工具對心理健康的影響疑慮不斷升高。專家警告,AI在偵測人類情感及安全提供情緒支持方面存在侷限。此前,佛州一名男子的家屬更曾控告 Google,聲稱其 Gemini AI 聊天機器人加劇了該男子的偏執症,最終導致他輕生。現有大型語言模型雖能產生高品質的回應,研究也指出,即使是專業人士也可能難以分辨AI與人類專家的建議。然而,通用型AI系統的設計目的多為增加用戶互動,這與心理健康照護的需求不盡然相符。