由傑克·多西(Jack Dorsey)共同創立的 Block, Inc.(美國金融服務與數位支付集團)旗下研究實驗室近期推出一款名為 Dessa 的語音人工智慧模型。Dessa 的最大特色在於其能夠本地化AI模型 (能直接在裝置上運作,而非透過雲端伺服器),並且能夠產生人類情感表達,例如笑聲、停頓甚至哭泣。
傳統的語音 AI 系統通常會將語音轉換為文字,再進行處理,這過程中往往會流失情感資訊,導致語音聽起來不自然。Block 指出,Dessa 採用獨特的語音對語音架構,使其能夠同時進行說話與聆聽,並直接處理音訊,對語氣、停頓、笑聲和諷刺等對話線索做出反應。Block 形容 Dessa 是全球首個完全以人類語音互動訓練,並能進行即時、擬真對話的 AI 系統。
《AI Insider》報導提到,目前 Dessa 尚未對外開放,Block 正在邀請少數 AI 安全研究人員進行測試。Block 預計,這種能夠在裝置上運行的模型能以較低成本提供更多應用體驗,例如其旗下的 Square 支付服務已在點餐系統中使用語音 AI 技術。Block 也表示,Dessa 的情感是內建於模型之中,不同於 ElevenLabs v4 和 Fish Audio Drama 3 等模型透過語音標籤引導情緒。不過,Block 也坦承 Dessa 在辨識說話者等功能上仍可能發生錯誤。