賓夕法尼亞州（Pa.）官員正採取行動，規範人工智慧（AI）系統與消費者互動的方式，特別是在醫療建議方面。該州州長喬什·夏皮羅（Josh Shapiro）已對AI聊天機器人平台Character.ai提起訴訟，指控該平台允許其AI生成的人格冒充執業專業人士，包括醫療提供者。

這項法律行動凸顯了各界日益擔憂，越來越擬真的AI對話正在模糊虛構與現實之間的界線。Character.ai允許使用者創建角色並與各式各樣的人格進行模擬對話。然而，訴訟指出，該平台上的部分AI人格自稱是執業醫療從業人員，提供心理健康指導並列出虛假的資歷。州調查人員認為，此類互動可能構成未經授權的醫療行為。

賓夕法尼亞州政府尋求法院命令，要求Character.ai平台停止任何AI聲稱擁有專業執照或醫療專業知識的行為。哈里斯堡科技大學應用媒體與創新學院院長查爾斯·帕爾默（Charles Palmer）指出：「人們很快就會忘記他們正在與聊天機器人對話，並開始認為他們正在與朋友或特定領域的專業人士交談，以獲取建議。」儘管Character.ai表示已採取措施，透過在每個聊天視窗中顯示醒目的免責聲明，強調角色並非真人，且所有言論皆為虛構，但專家們普遍質疑這些保護措施的有效性，指出使用者通常不會閱讀這些免責聲明。

此事件也引發對AI倫理與青少年安全的廣泛關注。非營利媒體倡議組織常識媒體（Common Sense Media）正推出Youth AI Safety Institute，這是一個由產業支持、獨立運作的AI工具研究與測試實驗室，旨在探討AI可能對兒童及青少年構成的風險。該機構將為家長和家庭提供AI工具資訊，並為科技公司設定安全基準。常識媒體執行長吉姆·斯泰爾（James Steyer）表示，單純依賴AI公司自律來確保安全，不足以保護年輕人。蘋果（Apple）前AI策略長約翰·吉安南德雷亞（John Giannandrea）也強調，需要一套獨立的公共標準來評估哪些模型適合不同年齡層的兒童。

澳洲弗林德斯大學（Flinders University）的專家，包括博士生Erik Cornelisse和副教授Ash Hopkins，在《科學》（Science）期刊發表評論，警示醫學AI的發展速度已超越安全審查。他們呼籲在醫療領域廣泛採用AI之前，必須仔細評估和治理，強調快速進步並不自動等同於對患者安全。專家們指出，醫療決策複雜且涉及高風險，不僅仰賴文本推理，更需考量身體檢查、醫患溝通、社會脈絡以及承擔責任的能力，而這些是目前AI系統無法獨立安全提供的。