Hume 发布音频决策 API:不转文字,直接问一段录音「客户是不是火了」,0.23 秒给出概率
原文链接: https://www.hume.ai/blog/introducing-hume-audio-decision-api 来源: www.hume.ai 发现于: 小互 · AI 解读站 · 2026/11/3 说明: 本文由 AIHot 自动聚合,并由 GLM 翻译为中文(保留全部代码与链接)
联络中心会依据评分标准对每一通电话进行评分。而要更改电话中被评分的内容,则是一项工程:新的评分标准、新的流水线、新的评估,距离得出第一个答案至少需要数天甚至数周。
并且,这一切所依赖的文字记录(transcript)仅包含文字本身。没有停顿,没有叹息,也没有两人同时抢话的场景。它遗漏了通话出现问题的原因。这些信息就藏在音频中——躺在通话录音里,或在实时通话中被直接忽略。直到现在,一直没有办法以可操作的形式提取这些信息。
今天,我们正式推出 Hume 的 Audio Decision API——首个能够回答语音与声音相关问题的 audio-native(音频原生)模型。问题和可能的答案由你来定:从判断某个声音是否为 AI 生成,到识别来电者是否感到沮丧,或背景噪音中是否有警笛声,无所不包。
这是一种截然不同的架构。输入原始音频,输出带有置信度分数的答案,结构化呈现,随时可供你的代码或 Agent 调用执行。它足够快,可以在实时通话中每隔几秒提出数十个问题;也足够快,能让一个包含 40,000 条音频录音的档案库在几分钟内变得可检索。目前没有任何系统支持这样的查询。
它建立在 Hume 多年的情绪科学研究以及数百万条关于人们如何感知语音与声音的人工判断之上。过去需要人工听审员团队与多个独立模型判断组合才能完成的工作,如今只需一次 API 调用。
向你的音频提问
发送原始音频并提出问题。API 会返回你所定义的各个答案的概率分布。
你以一句话的形式写下问题,并附上可能的答案。Audio Decision API 会返回你所提供答案的概率,无论它们是是非题、选择题、评分量表,还是音频片段中的时间段(span):
- 是/否(Yes/No):"客户听起来是否感到沮丧?"返回 yes 或 no
- 选项(Choice):"以下哪一项最能描述客服的语气?"返回你列表中的选项
- 量表(Scale):"客服听起来有多耐心?"在你设定的量表上返回一个分数
- 时间段(Span):"哪里出现了笑声、叹气或喘息?"返回起止时间
你可以同时提出多个问题并实时更新。添加一个问题只需一行 JSON。无需标注,无需重新训练,不会增加复杂度。同一段录音可以同时被询问背景音、语言、口音和情绪表达,你还可以设置置信度阈值,将响应与业务规则挂钩。
你还可以为每个请求添加额外的上下文(context),从而进一步优化性能。
问题可以涵盖:
- 语音与语言
- 说话人与嗓音
- 情绪与表达
- 声学环境
- 非语音事件
- 对话动态
- 沟通质量
- 意图与结果
- 社交与行为信号
- 时间与上下文信号
我们在 Docs 中提供了一份关于如何提问的指南,以及覆盖不同维度和行业的示例问题。
举一个例子:对于一个零售客服语音 Agent,你可以检测说话人听起来是否犹疑或沮丧,识别通话中有几位说话人,是否存在过度的背景噪音,并询问用户意图是什么:退换商品、取消订阅等。在业务工作流中,你可以将这些判断与转写(transcription)结果配对,并将二者一并作为 LLM 的输入,从而让它根据业务规则采取行动,例如是等待、澄清还是升级处理。

团队还可以在音频库中批量运行问题、追踪连续片段中的表达变化,并精确定位特定声音或语音事件发生的时刻。处理速度还解锁了音频搜索引擎的能力:找出每一段顾客听起来感到沮丧的通话。如今没有任何系统能够在无需额外预处理、标注、索引或转录的情况下,如此快速地查询音频。
根植于人类判断
统计说话人数量或检测警笛声涉及的是相对客观的事实。而一个声音听起来是沮丧、有同理心还是自然,则属于感知问题,听者之间的看法并不总是一致。
多年来,Hume 一直邀请听者小组对情感表达、自然度、语音传达方式以及会话契合度进行评分。数千万条这样的判断为 Real-World VoiceEQ 提供了数据支撑,并帮助训练我们的 Audio Decision Model,使其能够反映人们感知语音和声音的方式。
在初步评估中,Hume 的 Audio Decision model 与人类小组平均判断的一致率达到 70.7%,而个体评分者基线为 56.5%。这一结果表明,人类水平的感知判断可以被大规模地应用于语音和声音,而无需让小组逐一审查每条录音。更重要的是,它为实时 voice AI 交互解锁了人类水平的判断能力。

在与现有音频处理和理解方法的基准对比中,Audio Decision Model 在三个关键维度上表现更优:准确性、速度和成本。

快速开始
探索 Audio Decision API,并通过加入 waitlist 申请 API 访问权限。在 playground 中体验 realtime 和文件上传功能,你可以添加自己的问题并立即获得响应,无需任何额外配置。
查看我们的文档,进一步了解支持的问题类型、实验性功能等更多内容。
你可以构建什么
评估并改进语音模型
一个语音模型可能清晰可懂,但听起来仍然生硬别扭。团队可以询问生成的语音听起来是否自然、是否传达了预期的情感、是否符合当前情境,然后在不同模型和 checkpoint 之间比较答案。
这些判断可以为数据选择和训练反馈(包括强化学习)提供指导。团队应将评估结果与具有代表性的人类评分进行对照验证。
构建更具感知能力的 voice Agent
来电者可能嘴上说自己没事,语气却透着沮丧;也可能因为还在思考而停顿,而非因为已经说完。这些线索很少会出现在 transcript 中。
Audio Decision API 让级联式(cascaded)voice Agent 能够获取这些线索。它可以在作出响应之前,将音频判断与 transcript 及其业务规则一同权衡。随着实时能力的不断发展,Live 与环境感知类应用仍是更长期的机遇。
大规模分析与搜索音频
呼叫中心可以询问哪些通话中出现了打断、客服 Agent 的语气是否令人安心,以及哪些对话值得复查。团队可以将这些问题应用于整个音频库,并在出现新规律时调整评判标准。
他们还可以追踪通话过程中表达的变化,并直接跳转到特定声音或语音事件发生的时刻。
为快速决策而生
许多音频任务需要的是一个判断,而非一段描述。生成式模型擅长开放式解释,但当应用只需要一个结构化答案时,生成文本反而会带来不必要的工作。固定分类器则往往局限于预定义的任务。
Audio Decision API 会针对开发者定义的选项返回概率。它专为快速、高性价比的判断而设计,并可在大量录音中反复使用。
立即试用 Audio Decision API,解锁每一通电话的价值。
继续阅读
Expression APIs 介绍:为你的 AI 提供更多人们话语背后的含义人类的交流所承载的意义超越了词语本身。语调的变化、迟疑的语气,或惊讶的表情,都可能改变我们如何理解他人所说的话,以及我们如何回应。想想"I can't believe it"这句话。听到好消息时,这句话可能传达兴奋;遭遇挫折时,它可能表达沮丧;在嬉戏打趣中,它可能传递的是觉得有趣。当 AI 应用在这些语境中听到这些话时,其转录出的文字却完全相同。2026年10月6日构建语音模型不再是一个建模问题发生变化的不仅是语音被用在何处,更是语音所代表的意义。语音不再只是叠加在智能系统之上的一项功能。它正成为一种基础模态,模型通过它进行推理、交互,并接受用户的评判。Jeremy Baum / 2026年1月21日
