Block发布全双工语音模型Dessa,支持MacBook本地运行
摘要
Block推出全双工AI语音模型Dessa,基于人类语音数据训练,仅用一组英伟达GPU机架完成,可模拟笑声、停顿、哽咽等情绪,支持苹果MacBook本地运行,宣称情绪表达为模型原生内置。
杰克·多尔西旗下的Block公司近日发布了一款名为Dessa的语音模型,主打本地运行与高度拟人的听感。据官方介绍,Dessa能够模拟笑声、停顿、哽咽等情绪表达,且完全基于人类语音数据训练,整个训练过程仅使用了一组英伟达GPU机架。
在架构上,Dessa属于全双工模型,可在说话的同时持续接收用户语音,这一点与OpenAI今年早些时候发布的GPT-Live类似。与主流语音模型通常需要搭配大语言模型调取知识不同,Block称Dessa自身的知识来源于其训练所用的对话数据。
Block将现有语音AI体验生硬、违和的原因归结于生成链路:语音先被转成文本,再由文本驱动语音合成,大量文字无法承载的信息在此过程中丢失。ElevenLabs v4、Fish Audio Drama 3等模型依靠语音标签控制情绪,而Block宣称Dessa的情绪表达是模型原生内置的,不过其底层是否仍依赖某种标签调控情绪,目前尚不清楚。
Block在博客中直言,当前语音AI交互体验糟糕,即便是全球最强的AI也听不出用户情绪,这不仅体验差,还存在潜在风险。研究团队同步放出了多段对话样例,展示该智能体切换音色、语速与情绪的能力,例如在谈到工作疲惫时,AI的发声状态会随之变化。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗