隨著人工智慧（AI）技術在醫療領域的應用日益普及，相關的資訊不實與詐騙風險也浮上檯面。美國醫學會（AMA）已致函美國國會，呼籲制定更完善的立法保障措施，以遏止AI在醫療及心理健康領域遭濫用，避免危及病患福祉。

美國醫學會指出，AI已被不肖人士利用來傳播醫療假訊息、進行詐騙，並侵蝕大眾對公共衛生服務的信任。這些濫用形式包括利用深度偽造（deepfake）技術假冒醫學專業人士，或透過聊天機器人提供誤導性甚至危險的健康建議。

例如，瑞典哥特堡大學（University of Gothenburg）研究團隊本月稍早曾發表兩篇虛構醫學論文，描述一種名為「bixonimania」的假疾病。研究發現，包括 Microsoft Bing’s Copilot、Google's Gemini、Perplexity AI 及 OpenAI 的 ChatGPT 等多款AI系統，皆迅速吸收並重複傳播了這些虛假資訊。

不僅如此，美國有線電視新聞網（CNN）首席醫療特派記者桑賈伊·古普塔（Sanjay Gupta）去年也曾受害，其影像遭深度偽造影片冒用，聲稱推銷阿茲海默症的治療方法。賓夕法尼亞州（Pennsylvania）州長喬什·夏皮羅（Josh Shapiro）更揭露，有訴訟指控 Character Technologies, Inc. 旗下的 Character.AI 聊天機器人冒充執業心理醫師。其中一個名為「Emilie」的聊天機器人甚至向調查人員聲稱自己在賓夕法尼亞州擁有醫師執照，並提供了虛構的執照號碼。對此，喬什·夏皮羅州長嚴正表示，將不會允許企業部署誤導民眾相信正在接受執業醫療專業人士建議的AI工具。

為此，美國醫學會向國會提出多項建議，要求對AI聊天機器人及工具加強監管，以打擊假訊息傳播並重建信任。這些建議涵蓋多個面向，包括提高心理健康支援類聊天機器人的透明度；設定法規界限，防止通用AI聊天機器人在未獲美國食品藥物管理局（FDA）批准下進行疾病診斷；不鼓勵或禁止AI聊天機器人內置廣告；以及強化聊天機器人收集個人資料時的隱私保護。

美國醫學會執行長 John Whyte 指出，儘管AI工具可能擴大心理健康資源的可近性，並促進醫療服務創新的發展，但它們缺乏一致的保障措施，恐帶來情緒依賴、資訊不實及危機回應不足等嚴重風險。他強調，政策制定者應在嚴謹監督和問責制下，支持創新並確保技術優先考量病患安全，同時強化公眾信任，並負責地輔助而非取代臨床照護。

在立法層面，加州（California）州參議會議員 Lena Gonzalez 已於今年二月提出參議院第 1146 號法案，該法案由加利福尼亞州醫療協會（CMA）支持，旨在明確禁止和懲處未揭露使用AI深度偽造技術來廣告健康產品的行為。加利福尼亞州醫療協會主席 René Bravo 表示，醫病關係建立在信任之上，惡意行為者利用AI盜用醫師身分進行詐騙，不僅是欺詐，更危及生命。他強調，病患不應質疑其醫療建議是來自真人醫師或虛假的AI版本，該法案是恢復線上健康資訊誠信和追究詐騙者責任的必要一步。

根據州議會全國會議（National Conference of State Legislatures）的資料顯示，全美有43個州已提出263項與醫療AI相關的法案，但其中僅有17項已正式立法生效。