Block 发布了纯语音对话模型 Dessa:只靠听人类说话 从零学会了说话的 AI
原文链接: https://block.xyz/dessa 来源: block.xyz 发现于: 小互 · AI 解读站 · 2026/10/24 说明: 本文由 AIHot 自动聚合,并由 GLM 翻译为中文(保留全部代码与链接)
你通过倾听学会了说话。它也是
我们相信,语音是与智能交互最自然的方式,因此我们打造了 Dessa——有史以来最真实的全双工语音模型。与它交谈的感觉就像与真人交谈一样……充满情感、细腻、停顿和自然的节奏。
与当前的语音 AI 交互,体验有时真的很糟糕。它把你的语音转换成文本,却丢弃了大量仅靠文本无法承载的信息。世界上最强大的 AI 也听不出你的感受。我们认为这很荒谬,会带来更差的体验,甚至可能有危险。
我们从零开始训练 Dessa,只用人类对话,只用声音!没有文本,没有预训练模型。它仅通过倾听就学会了实时对话。据我们所知,Dessa 是世界上第一个仅从人类语音中训练出来、能与之进行逼真实时对话的 AI。
Dessa 推动了深度学习模型的前沿,开辟了一个全新的类别,带来了等待研究者去探索的、完全新颖而有趣的行为。与文本相比,它们学习语言和事实的效率如何?它们学习新语言的效率有多高?它们能进行什么样的 In-context learning?
让我听听……
下面的每个片段都是一个人与 Dessa 交谈的实时录音。没有人引导它。Dessa 自己决定说什么、何时说、怎么说,包括它自己的声音和个性。字幕是事后添加的。
谈论发布
有什么好笑的,它会在句子中途就笑出来,就像真人一样。其他模型会等你把话说完,然后按部就班地笑。让它大声点,它就会提高音量。没有人教过它这些。
两条同步的说话人音轨,可以播放。
记住一部电影
这个人想不起一部电影的名字。Dessa 替他把话说完了。考虑到它知道的每一个事实都来自原始声音,它知道的东西多得惊人。
两条同步的说话人音轨,可以播放。
周年纪念日的惊喜
一个惊喜。Dessa 压低声音倒吸一口气,说出“我的天哪”,然后带着似乎含泪的感激作出回答。
两条同步的说话人音轨,可以播放。
富有表现力的对话
语调和语速的变化幅度非常大。
两条同步的说话人音轨,可以播放。
人生建议
在这里,它听起来充满真诚的共情。
两条同步的说话人音轨,可以播放。
Dessa 与 GPT-Live-1 对话
在这里,它与 ChatGPT Live 对话。
两条同步的说话人音轨,可以播放。
在此演示中,Dessa 正在与第三方 AI 模型 GPT-Live-1 对话。两个声音均由 AI 生成。GPT-Live-1 的开发者与 Block 无关联,也未审查或认可 Dessa。
更多录音将很快分享在 X 上。
这是什么?!
音频进,音频出。Dessa 是一个真正的 speech-to-speech 模型,它所知道的一切都来自人类语音。它是全双工的,所以能像你一样同时倾听和说话。它从真实对话中学习,因此知道什么时候该插话,什么时候该附和(“是啊!"“明白了!"“哦!")来表示它在跟着你。推理速度比实时更快,不会有尴尬的等待。而且它可以在 MacBook Pro M4 Max 或更高配置上本地运行。
它原生地能听懂并表达情绪、讽刺、笑声、沮丧的叹息,以及因悲伤而颤抖的声音。将语音转换为文本后,所有这些细微差别都会消失,这就是为什么大多数语音 AI 听起来生硬、缓慢,最糟糕的是,令人恼火。
这太疯狂了!
LLM 需要海量的文本。Dessa 从少得多的词汇量中学习语言(公平地说,LLM 还必须学习 C++ 以及该死的 Angular 是什么)。
而且它必须学习远超语言本身的东西。口音、停顿、呼吸、讽刺、幽默、语调、情绪、何时插话:每一个因素都会改变说话人的意图。大声说出“我没说她偷了我的 CUDA 代码”,每次重读不同的单词。同样的单词,每次含义都不同。
语音永远不会重复。即使以完全相同的方式说两遍同一个句子,产生的数据仍然不同。无论谁输入,文本都是完全一致的。而一个 spoken word(口语单词)所占用的字节数是相同文本单词的数千倍。人们学习说话如此轻松,以至于我们忘记了它有多难。对于没有文本作为依靠的机器来说,这简直是残酷的挑战。
但是,我们搞定了。我们还找到了仅使用一块 NVIDIA GB200 NVL72 来训练 Dessa 的方法。
等等,为什么?
三个原因:好奇心(也就是好玩)、促进人类与 AI 之间的更好理解,以及安全性。 婴儿在从未见过书面文字的情况下学会了说话。我们想看看模型是否也能做到。它可以。只是非常困难。
语音是与任何智能(无论是超级智能还是其他)交互最自然的界面,而当前的语音 AI 浪费了这一优势。它将我们的话语扁平化为文本,无法跟上人类的节奏。
AI 的力量和独立性不断增强,但它对我们声音中的情绪几乎充耳不闻。想象一下,当你处于剧烈疼痛中时,语音 AI 毫无察觉,只是继续运行。这就是安全问题。Dessa 是解决这一问题的一步。
Dessa 是谁?
我们是 Block 旗下的一家(非常)小型 AI 研究实验室,由前 Toronto 深度学习初创公司 Dessa 的成员创立。自 2012 年以来,我们一直在构建深度学习模型,并在过去八年多里专注于生成式语音模型。我们追求其他公司忽视的前沿问题,并直接向 Block 的联合创始人、董事长兼 Block Head Jack Dorsey 汇报。
您可以通过 此处 联系我们。
召集所有安全研究人员!
一个仅从声音中学习说话的模型是新领域,我们需要外部的视角来审视它。我们正在向一小部分 AI 安全研究人员提供早期访问权限,以发现我们尚未预料到的风险。如果你符合这一条件,请 [联系我们]。
— Ragavan Thurairatnam, Dessa 负责人
Dessa 团队
研究人员 Louay Hazami, Hashiam Kadhim, Qi (Alex) Liu, Rayhane Mama, Aydin Polat, Marc Tyndel
实习生 Cara Ji, Jibran Iqbal Shah, Dvir Zagury-Grynbaum
前实习生 Aryan Sharma, Olivia Yan
按字母顺序排列
更多样本
艺术家 Dessa 两个同步的扬声器音轨。准备播放。
浴室灾难 两个同步的扬声器音轨。准备播放。
爱好谈话 两个同步的扬声器音轨。准备播放。
懒散的 AI 游戏 两个同步的扬声器音轨。准备播放。
漫威游戏
两条同步的说话者音轨。随时可以播放。
嘈杂的 GPT 实时对话
两条同步的说话者音轨。随时可以播放。
在此演示中,Dessa 正在与第三方 AI 模型 GPT-Live-1 通话。两个声音均由 AI 生成。GPT-Live-1 的开发者与 Block 并无关联,也未审核或认可 Dessa。
我的天哪
两条同步的说话者音轨。随时可以播放。
可怜的 Elina
两条同步的说话者音轨。随时可以播放。
退款
两条同步的说话者音轨。随时可以播放。
Ronaldo
两条同步的说话者音轨。随时可以播放。
安全实验室
两条同步的说话者音轨。随时可以播放。
唱无意义的西班牙语
两条同步的说话者音轨。随时可以播放。
即兴的 AI
两条同步的说话者音轨。随时可以播放。
睿智的 Dessa
两条同步的说话者音轨。随时可以播放。
Zelda 讨论
两条同步的说话者音轨。随时可以播放。