Bland 发布 Tofu-1:专为银行、医院、政府电话做的全双工语音模型 称 92% 的人听不出它是 AI 分得清电视声和来电者
原文链接: https://www.bland.ai/speech-to-speech 来源: www.bland.ai 发现于: 小互 · AI 解读站 · 2026/11/16 说明: 本文由 AIHot汪 自动聚合,并由 GLM 翻译为中文(保留全部代码与链接)
Bland Research
Tofu-1
专为高 stakes 通话打造的语音到语音模型
最重要的通话往往发生在恶劣的环境中。Tofu-1 是 Bland 全新的语音到语音模型,专为这些通话而设计。它在说话时倾听,在交谈时推理。 加入研究预览理解音频区分说话人,知道每个人在跟谁说话,并将人声与噪音分离。生成完整场景产生多个说话人、重叠的声音以及他们周围的环境音。说话时倾听呼叫者可以像对待真人一样,在句子中途打断或纠正它。边说边思考在处理任务时保持通话流畅,绝不会在任务完成前声称任务已完成。
加入研究预览
Tofu-1 的研究预览访问权限仅对少数企业开放。随着访问权限的开放,我们将通过电子邮件通知您。
摘要
Tofu-1 是 Bland 的全双工语音到语音模型。我们为其打造的目标场景是那些条件最差且错误代价最高的通话:来自移动车辆和医院病房的通话,信号微弱,多人同时说话。Tofu-1 既能听也能说,能在交谈时推理,并能生成呼叫者周围的声音。研究预览的申请现已开放。
示例
对话发生在声音中
想象一位女士在暴风雨期间打电话报告树木倒在她的财产上。她站在雨中,手机信号很差,她的儿子一直在问一些问题,而在读到一半地址时,她停下来回答儿子。
任何在这通电话另一端的人都会自然而然地理解发生了什么。他们会听到她转过身去,等她转回来,忽略雨声,并接着她中断的地方继续读取地址。
目前大多数正在使用的语音系统无法可靠地做到这一点。它们是级联系统:将语音转换为文本,将文本传递给语言模型,再将回复转换回语音。每一步都会丢弃通话的一部分信息:谁在说话,他们在跟谁说话,他们是否犹豫,以及他们是否已完成。
Tofu-1 的工作方式不同。它直接监听音频,因此声音携带的信息对模型保持可用。它同时倾听和说话,因此呼叫者可以像对待真人一样打断或纠正它。而且它可以在说话的同时继续处理请求,因此在查询某些信息时通话不会停滞。
对于银行、医疗系统或政府机构来说,听错的通话意味着未提交的欺诈索赔、未续开的处方或未批准的福利。以下各节将逐一介绍这些能力,并附有录音和图表。
聆听整个场景
Tofu-1 理解音频,而不仅仅是文字。它能区分不同的说话人,识别短语的意图对象,并将语音与通话中的其他声音分离:哭泣的孩子、电视、高速公路上的汽车、医院对讲机和按键音。它还能听出说话的方式,包括犹豫、沮丧和紧迫感。
回到那位站在雨中的女士。当她转身回答儿子时,她的声音仍然能传达到麦克风。转录文本会准确记录她的话语,但会忽略最重要的事件:她的注意力离开了客服人员。将每个短语都视为请求一部分的系统可能会回答本意是说给孩子的话。将重叠的人声视为噪音的系统则会丢失通话中正在发生的事情。
重叠 的通话标注层级Caller“树倒了”“等一下,亲爱的”“是榆树街412号…”Child“妈妈?”Agent“别着急”AddresseeagentchildcalleragentBackgroundrainthunderrainProsodyurgentsoft, loweredrushed*t (s)02468101214161820
电视测试
房间里的一台电视是最难处理的案例之一。广告说“立即拨打”。新闻主播问了一个问题。一个角色说“是的”。每个短语都是清晰、可理解的语音,且都不是针对电话中的 Agent 说的。
我们称之为电视测试:模型能否在忽略属于其他场景的语音的同时,跟随呼叫者的思路?降噪无法解决这个问题,因为电视不是噪音。它是来自错误来源的语音,而且通常比呼叫者的声音更大。
- Agent 问道
“确认一下,您想取消您的保单吗?” 2. 呼叫者
没有说话。她仍在寻找她的保单号码。 3. 房间里的电视
“是的!” 基于转录的 Agent
可能会将“是的”视为她的回答并取消保单。 Tofu-1
旨在将“是的”归因于电视,并要求呼叫者确认。
这是一个说明性的电视测试场景,并非录制的模型输出。电视的“是的”与呼叫者的声音一样清晰;唯一的区别是来源不同。
要通过测试,模型必须在新的声音不断到达时跟踪它正在帮助的人,并认识到其他语音可能完全属于另一场对话。音量不能决定一切。嘈杂的电视可能无关紧要,而呼叫者轻声的纠正可能是通话中最重要的内容。
这是有极限的。如果背景噪音使得呼叫者无法被理解,Tofu-1 应该说明这一点,并要求他们重复或移动到更安静的地方。忽略电视绝不能成为猜测呼叫者说了什么的理由。
生成整个场景
由于 Tofu-1 对通话的声音(而不仅仅是单词)进行建模,它还可以生成这种声音:第二个说话者、他们周围的空间以及线路的噪音。听这段 10 秒的片段。
带有背景噪音的对话
10 s · 由 Bland 生成0:00 / 0:104 kHz****00s2s4s6s8s10s
一名男子在车里打电话,乘客在和他说话。
边说边听
在电话通话中,人们经常互相打断。他们会说“嗯嗯”来表示他们在跟进,插话以修正成员 ID 中的数字,并在问题结束前就开始回答。Tofu-1 是全双工的:它同时听和说,它听到的内容可以改变它正在说的内容。
难点在于判断。当 Agent 复述保单号码时,简短的“对”意味着继续。“不,是 4,不是 9”意味着停止。模型必须在句子中途区分这两者,并且必须防止电视抢占话语权,同时让呼叫者轻声的纠正通过。
两种类型的打断Caller*“嗯嗯。”Agent回应**继续听在整个过程中保持活跃
概念性时间插图。段长度不代表测量的模型延迟。
边说边想
高风险通话涉及实际工作:验证呼叫者身份、检查索赔状态、查询福利和确认付款。电话中的人在这些工作进行时仍会与呼叫者交谈。Tofu-1 也是如此。对话和推理并行运行,因此模型在工作继续时保持响应。
同时运行的两条轨道对话
确认请求
听到纠正
解释结果 工作
考虑请求
更新重要内容
检查结果
概念性插图。对话可以在工作完成之前改变工作,并且答案反映呼叫者说的最新内容。
同时运行两者有一个陷阱:在工作进行中时,呼叫者可能会更改请求。如果病人在查询过程中纠正了预约日期,答案必须反映新日期。“我正在检查”和“您的付款已通过”是不同的承诺。Tofu-1 不会声称某事已完成,直到它确实完成。
边说边思考
39 s0:00 / 0:394 kHz****00s5s10s15s20s25s30s35s
Tofu-1 在处理请求的同时保持对话进行,并在工作完成后报告结果。
下一步计划
Tofu-1 是 Bland 语音到语音模型系列的首次发布,目前开放其研究预览的申请。我们正在寻找处理高重要性通话的团队,这些团队涉及银行、医疗、保险和政府领域,希望测试该模型在哪些场景下表现良好,在哪些场景下失效,以及它未来应如何发展。 加入研究预览