ElevenLabs 科普语音合成技术实现原理:文字是怎么变成自然的人类语音的

原文链接: https://elevenlabs.io/blog/how-text-to-speech-technology-works 来源: elevenlabs.io 发现于: 小互 · AI 解读站 · 2026/10/27 说明: 本文由 AIHot 自动聚合,并由 GLM 翻译为中文(保留全部代码与链接)。正文取自小互 AI 解读


全文 Markdown · 会员

作者:ElevenLabs10-27 · 约8分钟🎧 听播客版0:00 / --:--

视频/音频 0:00 / --:--

现代语音合成(TTS,Text to Speech)本质上是一场“翻译工程”:将冰冷的文本符号,转化为带有情感与韵律的自然人声。它要处理的不只是“每个字怎么发音”,还包括一句话哪里需要重读、哪里稍作停顿,语气又该怎样随着上下文变化。

过去常见的机器朗读,虽然能把内容念清楚,却容易显得单调、机械。如今,深度神经网络从大量真人录音和对应文本中学习声音与语言的关系,让整句话有了更连贯的语调、节奏和情绪表达。

先确定读什么,再把朗读方案变成声音

文字变成声音,可以先分成两个阶段理解:前端的文本与语言解析,负责处理文字、上下文、读音与韵律;后端的声学建模与波形生成,负责把朗读方案变成可播放的声音。

沿着“声学模型 → 梅尔频谱 → 声码器”这条示例流程,就能看清这两类工作怎样衔接。具体模型可能把其中一些处理合在一起,不一定设有边界清晰的独立模块。

前端三步:把书写符号转化为朗读方案

跟着原文的一句话看:

Mr. Ríos paid $11 on 10/06.

它大致表示“Ríos 先生在某天支付了 11 美元”。可末尾究竟是哪一天,仅靠这串文字还确定不了。

第一步:把缩写、符号和日期展开

人类阅读时,眼睛看到“$11”,会自然把它读成“eleven dollars”;看到“Mr.”,会展开为“Mister”。TTS 也需要处理这些书写形式。这一步叫文本规范化。

例句中的“10/06”需要结合地区惯例和上下文判断。按月 / 日顺序,是 10 月 6 日,读成 October sixth;按日 / 月顺序,则是 6 月 10 日,读成 June tenth 或 the tenth of June。它们是两种日期约定,不能把其中一种当成字符串本身唯一包含的答案。

如果系统先把日期展开错了,下游收到的已经是错误的文字,那么声音再逼真,也可能只是自然地读出了错误的日期。遇到这种情况,先把输入改成不易歧义的完整日期,比反复换音色更能解决问题。

第二步:分成文字单元,并带上上下文

文本会被拆成模型可以处理的单元,称为 Token。一个单元可以是一个词、词的一部分,也可以是标点。它们进一步变成数字表示,让模型能利用词语之间的上下文关系,而不只是逐字查读音。

英语的 desert 就是一个例子。它既可以作动词,表示“抛弃、擅离职守”,重音在第二音节;也可以作名词,表示“沙漠”,重音在第一音节:

The soldier wanted to desert his unit by hiding in the desert.

意思是:“那名士兵想躲进沙漠,借此擅离部队。”前一个 desert 接在 wanted to 后面,描述士兵想做的动作;后一个接在 in the 后面,指他藏身的地方。同一句话里的两个相同拼写,因此需要不同读法。

视频/音频

原文中的 desert 朗读样本。

例句为“The soldier wanted to desert his unit by hiding in the desert.”。前半句动词 desert(重音在第二音节),后半句名词 desert(重音在第一音节)。音频来自 ElevenLabs 原文,用于对照这两个词的读法。

desert 作动词和名词时的重音对照

同样的拼写,在不同上下文里读法不同。

上半句是“擅离部队”,下半句是“沙漠”;图中 de-ZERT / DEZ-ert 是简化的重音标记。

第三步:安排重音、停顿与音高

读音正确,还不等于表达自然。韵律就是一句话的节奏和抑扬顿挫:哪个词强调,哪里稍作停顿,音高怎样变化。

回到付款例句,原文给出一种朗读安排:强调金额 eleven dollars,在日期前短暂停顿,句尾音高下降。听众便更容易把金额、日期和完整句意联系起来。如果说话者想特别纠正日期,重音安排又可能不同。这些是表达选择,并不是每句陈述都必须遵守的固定模板。

后端两步:从声音的描述到可播放的波形

前面的工作确定了文字应该怎样读,但“重读金额、日期前停一下”还不是能直接播放的声音。沿着本文的示例流程,还需要声学模型和声码器完成转换。

第四步:用声学表示描述声音

声学模型接收文字及上下文、韵律等信息,预测声音随时间怎样变化。原文举的中间表示是梅尔频谱。

可以把它理解成一幅声音的能量图:横向追踪时间,纵向排列不同频段,颜色或深浅显示各处能量的强弱。它描述某一小段时间里,声音的能量分布在什么频段,以及这种分布怎样连续变化。这里的“图”是一种可计算的声音描述,还不是扬声器直接播放的波形。

在付款例句里,金额的重读、日期前的短停顿和句尾的音高变化,都需要在生成的声音中体现出来,不能只停留在文字标注上。

第五步:声码器生成音频波形

声码器把上一步的声学表示转换成音频波形,也就是播放设备可以使用的数字信号。设备再把信号变成扬声器的振动,人耳才听见声音。

两个阶段的区别是:声学模型描述声音怎样变化,声码器把这种描述变成可播放的音频。它们并不负责替用户决定那笔钱究竟是在几月几号支付的——如果前面的日期解释错了,单靠最后的声音生成环节不能保证修正原意。

同一句话,五次转换

日期在开头定下来,最后才被读出来

Mr. Ríos paid $11 on 10/06.

同一个 10/06:月 / 日 → October sixth;日 / 月 → June tenth。

  1. 01

先把符号展开

Mr. → Mister;$11 → eleven dollars 10/06 → October sixth 2. 02

把文字变成可计算的表示

分成文字单元,用数字表示拼写及上下文关系。 3. 03

安排怎么读

本例:金额重读 → 日期前短暂停顿 → 句尾降调。 4. 04

描述声音随时间怎样变化

在这条示例流程中,声学模型生成梅尔频谱,描述各频段的能量。 5. 05

生成可播放的波形

声码器把声学表示转为音频。 最终日期读法:October sixth · 10 月 6 日

如果你本来想说 6 月 10 日,却在第一步采用了月 / 日读法,最终声音再自然,传达的日期仍可能不对。

教学示意:切换只展示日期解释怎样传递,不运行语音模型,也不展示模型内部数据。

三代合成技术,声音是怎样变自然的

早期的共振峰合成用数学规则生成语音声音。它可以让人听清内容,但容易呈现单调、机械的音色。

后来的拼接合成使用真人录音。系统从语料库中挑选小段语音,再拼成一句话。单个片段来自真人,因此比规则造音更自然;但片段衔接时,语调和节奏可能不够连贯,听起来像被切开后重新接起来。

神经语音合成则使用大量录音及其对应文本训练神经网络,让模型学习文字与音高、时长、能量等声音特征之间的关系。生成时,它能结合上下文安排更连贯的表达。这是自然度提升的重要原因,也解释了为什么只把字逐个读对还不够。

语音合成技术的三代演进对比图

语音合成技术的三代演进。

规则生成声音、拼接真人录音片段、从录音与对应文本中学习,三种方法的区别在于怎样产生声音。

这些能力分别用在哪里

内容制作里,TTS 可以为视频生成旁白、制作有声书或游戏台词。脚本修改后,可以重新生成相应语音,减少每次补录都要重新安排录音的工作。但长篇是否连贯、人物语气是否合适,仍要听实际内容。

无障碍阅读里,它让用户能听文章、课本和页面内容,为有视力、阅读或注意力方面需求的人提供另一种获取信息的方式。这里需要分清:TTS 提供发声能力,完整的屏幕阅读器还要识别按钮、菜单和界面结构,帮助用户导航。会念正文,并不等于已经提供完整的无障碍体验。

语音客服 Agent里,TTS 是负责“说出来”的一层。语音转文字(STT)先把用户的来话转成文本;大语言模型(LLM)组织答复,必要时通过连接的工具查询或处理业务;TTS 再将答复变成声音。因此,一套系统能办理退款,不能只归功于声音自然。

市场上常见的“AI 声音生成器”是更广的称呼,可能还包括声音设计、声音克隆或风格转换。TTS 特指文字转声音,并不意味着每次生成前都需要克隆一个人的声音。

排错:读错名字和长篇单调,要用不同办法

临时纠正一个词,还是长期固定一组术语

同一个品牌、人名或专业词反复读错时,需要控制的是发音,而不仅是换一个听起来更好听的声音。

发音词典与行内音标对比图

反复出现的术语用词典,单次纠音可用行内音标。

图中 account-wide 是简化说法;实际需要在相应项目中加载词典,或在 API 请求中引用。语法及效果还取决于所用模型。

**行内国际音标(IPA)**适合少量、局部的读音调整。以 Eleven v4 为例,官方文档给出的原生方式是在输入文字里用正斜杠包住 IPA 音标:

The term "/ˌbaɪoʊˈkemɪstri/" refers to the study of chemical processes.

这段示例把 biochemistry 的读音写进句子,意思是“这个术语指对化学过程的研究”。它说明如何表达读音要求,不是一段已经运行的 API 程序。使用标准音标和重音标记后,效果仍可能随声音和语句变化,重要名字应使用选定的声音先试听。

不同模型支持的语法并不相同。例如,文档为 eleven_flash_v2 提供的是 SSML phoneme 标签。不能把旧模型的标签与 v4 的斜杠写法当成通用语法随意互换。

发音词典更适合反复出现的品牌、缩写和术语。你把“遇见什么文字,应读成什么”集中写成规则,再在相应项目中加载词典,或在 API 请求中引用。这样不用在每句脚本里重复标音。

规则既可以指定音素,也可以使用别名替换。下面只是一个词条片段,用来表示把 UN 读成全称 United Nations:

<lexeme>
  <grapheme>UN</grapheme>
  <alias>United Nations</alias>
</lexeme>

上传词典不等于所有任务自动使用它。还要确认项目或请求已选中对应词典;规则匹配区分大小写,遇到多个匹配时采用词典中先出现的替换。这些细节直接决定规则有没有生效。

长篇听起来机械,先检查句式和表达节奏

十秒样本自然,不代表一整篇课程或有声书都耐听。相同措辞、相似停顿和反复出现的语调模式,在长篇里更容易使人疲倦。

这时可以调整脚本的句子长短和措辞,在转折、强调或叙事变化处,使用模型支持的情绪与节奏提示。发音词典解决“这个词怎么念”,这些调整解决“整句话怎么说”。修改后要试听连续段落,不能只挑最好听的一句判断效果。

接入应用:先分清等文字,还是等声音

一次 TTS API 请求可以理解成:应用发送待朗读的文本、选定声音的标识和模型标识,并完成认证;服务生成音频,返回成品文件或连续的音频块;应用再播放、保存,或送入电话系统。API 是应用直接调用这项能力的接口。

模型推理很快,为什么用户仍要等

模型推理时间只描述模型生成声音的计算环节。首次出声时间则是从应用发出请求,到用户实际听到第一段音频的等待,其中还包括网络、服务端处理以及播放器缓冲。

一通语音电话还要加上前面的识别、组织答复或工具处理。原博客提到约 100ms 的首次出声目标,不能据此保证整套 Agent 在 100ms 内完成回应,也不能把它当作本次实测。

流式传输改善的是开始播放的时机:不用等全部声音生成完,就能先接收前面的部分;满足播放器缓冲要求后,前面的声音可以先播,后面的继续生成。它不等于把模型的全部计算都加速了。

HTTP 和 WebSocket 都可以流式输出

如果讲稿已经写好,HTTP 流式可以接收完整文字,陆续返回音频块。HTTP 并不只会返回完整文件,REST 也不是“非流式”的同义词。

如果上游 LLM 还在陆续生成答复,WebSocket 双向流式可以持续接收文字,同时返回声音。TTS 无须等整段答复写完,但也不是每收到一个词就必须立即发声;它仍需积累足够上下文,决定哪里适合开始合成。

先听见第一句,还是等整段做完

三种请求方式,等待的位置不同

箭头只表示处理顺序与重叠关系,不代表实测时长。

非流式

等完整音频
  1. 提交完整文字
  2. 整段声音生成完成
  3. 收到成品,再开始播放

HTTP 流式

完整文字,分块返回声音
  1. 提交完整文字
  2. 第一块声音生成并返回
  3. 缓冲后开始播,后续声音继续生成

WebSocket 流式

文字也能陆续送入
  1. 上游陆续生成文字
  2. 攒够上下文后,开始合成
  3. 声音陆续返回,后续文字继续进入
一通语音电话,还要走完这些工作

听清用户的话 → 识别为文字 → LLM 组织答复或调用工具 → TTS 生成声音 → 播放。

其中一些工作可以重叠;网络、排队和播放缓冲也会增加等待。单个模型的推理数字,不能替代用户实际听见答复的时间。

更早出声,也意味着更早作决定:后文还没到,当前片段的读音、停顿和语气可能更难安排。分块大小需要在等待和连贯性之间取舍。

越早开口,能参考的后文就越少

只收到“The economy”时,模型还不知道后面会接“is recovering”(正在复苏),还是“is in freefall”(正在急剧下滑)。后文会影响整句话的语气与节奏。

等更多文字再合成,通常能得到更充分的上下文,却增加开头的等待;切得太碎、太早生成,又可能让短语衔接生硬。这就是流式系统需要安排分块时机的原因,自动调度或分块设置是在两者之间取舍。

做有声书或旁白,可以给生成和试听更多时间,重点检查音质、表现力与长篇连贯性;做实时对话,则要同时观察用户多久听到回答,以及抢先出声有没有破坏读音和节奏。声音自然、内容读对、回应及时,是相互关联但需要分别检查的目标。

来源How text to speech technology works: From text to natural voiceJack Limebear · ElevenLabs·查看主材料延伸Text to Speech best practices·Understanding latency·Understanding audio streaming本站说明基于 ElevenLabs 官方科普与开发文档。流程按教学示例解释,不代表 Eleven v4 内部架构披露;音频为原文朗读样本。

ElevenLabs 技术原理解析

ElevenLabs 科普语音合成技术实现原理:文字是怎么变成自然的人类语音的

TTS(文字转语音)不只决定字怎么念,还要安排整句话的重音、停顿与语气。它可用于视频旁白、有声书、阅读辅助和语音客服。

先用两类工作理解这场转换:前端确定“读什么、怎么读”,后端把朗读方案变成可播放的音频。下面是“声学模型 → 梅尔频谱 → 声码器”的教学示例;具体模型可能合并处理步骤,并不都具有这些独立模块。

阶段一:前端语言解析(确定读什么与怎么读)

STEP 01 规范化:把符号展开 “$11”展开为 eleven dollars;“10/06”按月/日是10月6日,按日/月是6月10日,须先结合地区与上下文判断。

STEP 02 上下文:同字可以不同读 文字被拆成模型能处理的单元。同样的 desert,在 wanted to desert 中是“擅离”,在 in the desert 中是“沙漠”,重音位置不同。

STEP 03 韵律:安排整句话怎么说 决定重音、停顿和音高。例如强调金额、日期前稍停;要强调日期时,安排也可能改变,并非固定模板。

↓ 文字、上下文与韵律形成朗读方案 ↓

阶段二:后端声学波形(将方案变成声音)

STEP 04 声学模型 → 声学表示 示例中的梅尔频谱是一幅声音能量图:横向为时间、纵向为频段,深浅表示能量强弱。它描述声音怎样变化,还不是可播放波形。

STEP 05 声码器 → 音频波形 把声学表示转成播放设备可使用的数字音频信号。设备再驱动扬声器振动,人才听到声音。

错误也会向下传:日期若先展开错,声音再逼真也可能只是自然地读出错误日期。先写清完整日期,比反复换音色更有用。

声音变自然,关键在于产生声音的方法变了:

第一代 共振峰合成 用数学规则生成声音。内容可听清,但容易机械、单调。

第二代 拼接合成 挑选真人录音片段再拼句。片段来自真人,衔接处的语调与节奏却可能不连贯。

第三代 神经语音合成 从大量录音及对应文字学习音高、时长、能量等关系,结合上下文生成更连贯的整句话。

排错先分清:是某个词读错,还是整篇听起来单调?

**某个词读错:**少量局部纠音可用模型支持的行内音标;反复出现的名字、品牌和术语可用发音词典。语法取决于模型;词典还需在项目中加载,或在 API 请求中引用,上传不代表自动生效。

长篇单调时,调整长短句、措辞与模型支持的情绪/节奏提示,并试听连续段落。词典管“这个词怎么念”,这些调整管“整句话怎么说”;十秒样本自然,不代表整篇耐听。

流式让前面的音频先接收、满足缓冲后先播,后面继续生成。它改善开始播放的时机,不等于加快全部计算;首次出声还受网络、服务端处理和播放缓冲影响。

较早合成:少等一会儿 只收到“The economy”时,尚不知后接“正在复苏”还是“急剧下滑”。越早切块,可用后文越少,可能让语调或短语衔接生硬。

多等文字:多一些上下文 积累更多文字,通常更有利于安排语气与节奏,却增加开头等待。需要选择合适分块时机,不能据此保证自然度。

HTTP 可以接收完整讲稿并流式输出音频;WebSocket 还可陆续接收上游文字。做旁白重视长篇连贯,做实时通话还需同时观察实际首次出声与接话节奏。

**分别检查三个目标:**内容读对、声音自然、回应及时。TTS 只是语音 Agent 中负责“说出来”的一层,识别、组织答复与工具处理也会影响整体表现。

原文版权归原作者,这里只供对照阅读。 看原网页 ↗

文本转语音技术如何工作:从文本到自然语音

了解文本转语音技术如何将文本转化为自然语音——从文本规范化与韵律到神经网络模型,并附实例讲解。

文本转语音(TTS)技术将书面文字转换为口语化音频。系统先弄清楚文本的内容及其应有的读音方式,再由 AI 模型生成音频。

首先,TTS 引擎对文本输入做规范化处理,并将其转换为计算机系统能够处理的数学 token 和向量表示。随后,模型将这些数学结构转换为声音的数字表示,最终生成音频输出。

在本文中,我们将探讨各类文本转语音工具的工作原理,以及最新一代生成式 AI 神经语音合成如何实现迄今最自然的语音。

摘要

  • 文本转语音系统分两个阶段将书面文字转换为音频:先把文本转换为 token(语言的数学表示),再将这些 token 转换为声学表示并输出为声音。
  • 更新的神经 TTS 引擎使用 AI 模型生成听感自然的语音。业务团队将其用于内容创作、字幕制作,以及驱动客户支持 Agent。
  • 发音词典和音标标注是微调 TTS 输出的两种方式,可让语音尽可能自然,并确保专业术语和名称发音正确。
  • 文本转语音 API 让你可以将业务应用接入高质量的语音生成。

什么是 TTS?文本转语音技术如何工作

文本转语音的工作流程是:先分析书面文本,确定每个词应当如何发音,然后同时借助神经网络模型和声码器(vocoder)生成语音音频。

TTS 大致可以拆分为两个阶段:

  • 前端:系统将文本转换为 TTS 引擎可以处理的数学形式。
  • 后端:系统接收第一阶段的输出,并将其转换为模拟语音的波形。

下面我们更详细地拆解 TTS 工作原理的各个组成部分。

文本规范化与语言学分析

TTS 流程的第一步是自然语言处理(NLP):对原始文本输入进行清洗、分词和消歧。系统将文本切分为 token,即 TTS 引擎能够操作的书面语言单元。一个 token 可能是完整的词、“子词”单元,或标点符号。

文本中常常包含完整单词以外的符号,例如缩写和数字。TTS 引擎还需要决定如何读出这些内容。例如,TTS 引擎会读取 "$11",并将这段文本转换为 "eleven dollars"(十一美元)的发音。

语义与韵律

韵律(Prosody)是语音的音高与节奏,正是它让 TTS 听起来自然。在处理文本的同时,引擎还会生成一层韵律信息,将重音和语调的变化映射到文本上,使其听感更加自然。

TTS 引擎还需要依据上下文调整文本到语音的发音方式。它会以向量表示的形式汇集这些信息——向量表示是映射词语和短语之间语义相似度的数值数据。可以把它想象成 X-Y 图上沿多个不同点绘制的折线,只不过其映射维度远不止二维。

一个具体的例子是同形异义词。同形异义词指拼写相同但含义不同的词,有时需要以不同方式发音。TTS 引擎需要在朗读时识别每个词应采用的语调和重音。例如,在句子 "The soldier wanted to desert his unit by hiding in the desert." 中,字素 "desert" 应该如何发音。

观看 Eleven v4 如何生动演绎这个示例。

The soldier wanted to desert his unit by hiding in the desert.

0:00

声学建模与波形(语音)合成

TTS 引擎接收 token 化后的信息和上下文向量——此时它们都已转化为数值数据——并将其转换为声学表示,例如梅尔频谱图。其中包括不同的频率、能量水平,以及会被大脑解读为情感的声音。过去人们使用过许多不同的系统来执行这一功能,但如今神经模型是最有效的方法之一。

最后一步使用 vocoder(声码器)将这些频谱图转换为人耳听来是语音的音频。这一过程称为波形生成。

TTS 实际运作:一个完整示例

了解 TTS 各阶段如何协同配合的最简单方法,是跟踪一个句子在 pipeline 中的完整流程。

以文本 "Mr. Ríos paid $11 on 10/06." 为例。

  1. Normalization(规范化):引擎将 "Mr." 展开为 "Mister",把 "$11" 读作 "eleven dollars",并根据地区和上下文判断 "10/06" 是 "October sixth" 还是 "the tenth of June"。
  2. Tokenization 与上下文:清洗后的文本被拆分为 token,并转换为能够捕捉词与词之间关系的向量。
  3. 韵律:引擎在 "eleven dollars" 上加重音,在日期前加入短暂停顿,并让句末音高下降。
  4. 声学模型:神经模型将 token 和韵律规划转换为描述声音随时间变化的梅尔频谱图。
  5. Vocoder:声码器将频谱图转换为你最终听到的音频波形。

每个阶段都会向下一阶段传递更详细的规划,这也是为什么 pipeline 早期的错误(例如读错的日期)会一直延续到最终的音频中。

为什么神经文本转语音听起来更像人声?

神经语音合成在生成自然、可理解的语音方面表现出色,这两点正是工程师用来评估 TTS 引擎的质量指标。神经 TTS 的工作原理是训练一个深度神经网络(DNN)从文本输入生成语音。你需要用大量配有关联文本的录音语音来训练这个 DNN。

神经语音合成引擎只是企业级 TTS 的最新迭代。在此之前,还曾有两代商用合成技术。

共振峰合成(Formant synthesis)是 20 世纪 70 和 80 年代的主流模式。它不是在运行时采样人类语音作为输出,而是生成模拟语音的合成声音。它能让人听懂,但单调且听起来像机器人。

拼接合成(Concatenative synthesis)从 20 世纪 90 年代一直主导到 2010 年代,听起来比早期的共振峰系统更自然。它不再基于数学规则生成音调,而是将小段人类语音样本拼接(concatenate)在一起。这些系统使用语言学查找表将规范化后的文本匹配到对应声音,然后输出从庞大的语音库(即 "corpus"(语料库))中提取的、由小单元拼接而成的语音音频。虽然比共振峰引擎生成的语音听起来更自然,但拼接方式仍可能让语音听起来断断续续、支离破碎。

AI 语音生成器与文本转语音有什么区别?

"AI 语音生成器"是营销中常用的一个术语,用于描述范围广泛的语音技术,其中包括文本转语音。文本转语音特指那些以书面文本为输入、对其语义和韵律进行建模、并输出音频波形的系统。

AI 语音生成器是一个由相互关联的语音技术构成的完整生态系统,包括 TTS 以及用于语音设计、语音克隆和语音风格迁移的其他生成式系统。尽管在营销中它常被用作文本转语音的同义替换词,但 AI 语音生成器更适合被视为一个更广泛类别的术语,即生成式语音工具,而 TTS 只是其中的一部分。

如何将文本转语音用于内容创作、无障碍访问和客户支持

文本转语音模型已成为全球各地工作流程的核心组成部分,广泛应用于个人和商业领域。

以下是文本转语音的一些主要使用场景。

内容创作

文本转语音工具有助于降低大规模媒体制作的成本,并减少在录音棚进行旁白录制和后期补录所花费的时间。

示例使用场景包括:

  • 旁白
  • 画外音
  • 配音
  • 有声书制作
  • 游戏对话

例如,TAP 使用 ElevenLabs TTS 规模化制作教育内容,服务于印度各地的学校。

无障碍访问

文本转语音是应用最广泛的辅助技术之一,因为它让人们能够通过聆听来获取书面内容。自然的语音可以提高听众的参与度,并在聆听长篇材料时减轻精神疲劳。

常见的 TTS 无障碍应用包括:

  • 屏幕阅读器:使用屏幕阅读器和 TTS 朗读整个页面。
  • 读写障碍和识字支持:在阅读过程中辅以 TTS 语音,减轻阅读负担。
  • 低视力和失明:屏幕阅读器会朗读界面元素和页面内容,使人们无需看到屏幕即可操作软件和浏览网站。
  • 认知和注意力差异:收听文本可以降低阅读长文档的负担,更容易保持专注。
  • 学习和语言学习:学生可以听到新词汇的正确发音,并能在通勤或学习时收听教科书。

屏幕阅读器是功能完备的无障碍工具,会描述屏幕上的一切内容,包括按钮和菜单。朗读工具则专注于朗读内容本身,通常配有同步跟随的高亮显示;由于人们会长时间使用这类工具,因此它们能从更自然的语音中获益。

客户支持

神经语音合成与具备 agentic 交互能力的 LLM 相结合时,可以提供高质量的客户体验。诸如 ElevenAgents 之类的平台将语音层与语音识别、LLM 以及已连接的工具相结合,使 Agent 能够理解来电者的需求并以自然的语音作出回应。

使用 ElevenAgents 构建的 Agent 可跨电话、Web、WhatsApp、电子邮件和短信运行,让客户可以跨渠道继续对话而无需重复自己。示例使用场景包括:

  • 双向语音 AI Agent:通过从知识库回答问题或将客户引导至特定流程(如退款或购买)来处理实时对话。
  • 交互式语音应答(IVR)系统:用客户可以自然说话的对话,取代过时的“按 3 转接销售”菜单树。
  • 多语言支持:通过单一的 Agent 配置,以客户自己的语言为其提供服务。

例如,Klarna 借助 ElevenAgents 将问题解决时间缩短了 10 倍

文本转语音引擎如何控制发音?

现代神经语音合成引擎能够生成非常自然的语音,但对于人类语言这种如此广泛、深邃且动态多变的系统而言,边缘情况始终存在。你可能希望在生成的语音中保留口音、俚语或地方发音;你可能正在为某个行业制作音频,而该行业对技术术语有着独特的读法;你也可能只是希望你的品牌名称以一种非常特定且一致的方式发音。

发音词典与音素覆盖

ElevenLabs 的 ElevenAPI 包含一个发音词典功能,允许你自定义引擎的说话方式。你可以按照 W3C 标准的 Pronunciation Lexicon Specification(PLS)格式构建一个词典,将字素(文本中的符号)映射到音素(将口头词语拆解为声音)。当 TTS 引擎遇到词典中列出的某个字素时,它会覆盖其训练所得的发音,改用词典中的音标发音。

你可以在使用发音词典文档中了解如何在 ElevenAPI 中构建发音词典。

原生 IPA 与音标提示

一些 TTS 模型还能识别直接嵌入文本输入中的行内发音标签。因此,如果你只想在一两个音频片段中微调发音,而不想构建账户级别的词典,可以使用标准 IPA 标记法为文本中的单词添加标签。例如,当你录制有声书时,希望某个虚构角色的名字按照特定方式发音。

常见的 Text to Speech 挑战及应对方法

即使是最强大的 TTS 模型,也可能难以处理人类语言的微妙之处。两个最常见的问题是新词发音错误和语音输出单调。以下是应对方法。

生僻词、术语和专有名词的发音错误

TTS 引擎使用算法,基于训练数据中字素到音素的映射方式来预测规范化文本应如何发音。它们会根据已摄入的文本和上下文做出最佳猜测。但正如我们在上一节中讨论的,总会有很多边缘情况,你需要某个词以非常特定的方式发音。

对于这些边缘情况,发音词典或针对性的 IPA 标签将是你的最佳工具。如果你有一个经常出现的术语,希望它的发音保持一致,词典是最佳解决方案。如果你只想对少数几个词做针对性微调,可以使用 IPA 音标标签。

单调的语音输出

这类问题在处理较长脚本时最为常见,因为相同的单词或短语会被反复朗读。引擎合成的语音在 10 秒的短音频中可能听起来很棒,但在 45 分钟的讲座中听到同样刻板的发音和节奏模式,很快就会让听众感到疲劳。

在脚本中使用多样化的措辞,并明智地使用音标标签来周期性地改变发音。使用情感和节奏提示,使语音输出更具动态感,随不同的叙事节奏起伏变化。

使用 Text to Speech API 构建自然的语音体验

轻量级的网页工具非常适合生成小型音频片段,但它们难以扩展以满足更大的业务需求。如果你需要每分钟处理数千次客户交互,或生成高质量的长篇音频内容,你将需要更强大的 TTS 工具。

像 ElevenAPI 这样的 Text to Speech API 允许你将软件直接连接到神经语音合成模型。你可以使用 REST 请求或持久化的 WebSocket,按需为 Agent 或其他用途大规模生成音频。

Text to Speech API 请求的工作原理

尽管模型本身很复杂,但开发者的使用流程却简单易懂、容易上手。

使用 ElevenAPI,你可以在几分钟内将 Text to Speech 集成到你的应用程序中:

  1. 发送请求:你的应用程序将文本、voice ID 和 model ID 连同你的 API key 一起发送到 API。
  2. 生成:模型运行上述流水线,从规范化一直到声码器(vocoder)。
  3. 接收音频:API 返回完成的音频文件,或以分块流式传回,以便在生成完成之前就开始播放。
  4. 播放或存储:你的应用程序实时播放音频、保存它,或将其传递给其他系统(例如电话线路)。

无论您使用 REST 处理已完成的文件,还是使用 WebSockets 进行实时流式传输,流程都是一样的,而下文介绍的 SDK 会为您封装好这些调用。

开发者的架构考量

根据您的使用场景,您可能需要在处理速度、音频保真度、网络延迟与协议以及集成能力之间进行权衡取舍。

延迟与保真度

要让对话 Agent 听起来自然,您应以约 100ms 的首音频响应时间为目标,这意味着要最大限度地降低网络传输和 TTS 引擎的延迟。此时需要考量的是,在该约束下,您的 Agent 架构所能获得的音频输出质量。

相反,在生成长音频(如播客或讲座)时,延迟就没那么重要了。此时您要做的不是尽量降低延迟,而是尽可能实现高保真的输出。

流式传输协议

您在 API 连接中使用的协议也会影响延迟和性能。WebSockets 支持真正的双向音频流式传输,这意味着您可以每次处理一段文本,而不必等待整个内容渲染完毕。当 TTS 引擎还在处理后续文本块时,播放就可以从前面的文本块开始。

SDK

像 ElevenAPI 这样的企业级 Text to Speech API 提供完整的软件开发工具包(SDK),支持 Python 和 TypeScript/JavaScript,同时还提供 REST API,帮助您快速搭建新架构。使用它们可以降低开发团队的集成成本。

开始使用 ElevenAPI 进行 Text to Speech

由领先的语音模型生成的自然 TTS 合成,能够为您的 Agent 和音频制作提供吸引听众所需的高质量音频输出。无论您是在寻找支持客户工作流的高质量对话 Agent,还是想将 TTS 集成到您的应用中,ElevenLabs 都有相应的解决方案。

立即开始使用 ElevenAPI,生成您自己的高保真音频,或进一步了解 ElevenAgents。

常见问题

↑ 正文结束 ✓ 本篇全文免费开放

会员可复制、下载全文 Markdown,还能让你的 AI 订阅和提问。 订年卡 $59/年看权益对比 →

阅读原文 ↗

📮 新解读每晚进邮箱

读完觉得有用?留个邮箱,每晚一封当天的新解读,随时退订。