指南

哪些文本转语音 API 最适合语音智能体?

哪些文本转语音 API 支持 WebSocket 流式输出、一个音色说多种语言、返回词级时间戳,并能输出 8 kHz 电话音频?内容均出自各家服务商自己的文档。

· Paxa Labs · 阅读约 8 分钟

语音智能体需要的文本转语音 API,要在大模型还没写完回复时就开口,并在来电者插话时立刻停下。Paxa TTS Flash v2、Deepgram Aura、Cartesia、Fish Audio、Botnoi Voice、Murf 和 ElevenLabs 的文档里都有用于这类场景的流式连接。来电者说什么语言、电话系统接受什么音频格式,决定了名单上还剩哪几家。

下文关于各家服务商的每一条事实,都链接到该服务商自己的文档,并经我们的对比页面核实。本文不给任何一家打分或排名,各家公布的价格见该对比页面。

服务文档中的实时连接时间戳与电话音频格式文档列出的语言
Paxa TTS Flash v2WebSocket 接收陆续到达的文本片段,并有用于打断的 cancel 帧词级、句级或整段时间戳;8 kHz 的 G.711 μ-law 和 A-law每个音色都能说中文、英语和泰语
Deepgram AuraWebSocket 把 Speak 消息里的文本排入队列,每次 Flush 后返回音频WebSocket 支持 linear16、mulaw 和 alawAura-2 有 7 种语言,没有中文和泰语
Cartesia用于实时合成的 WebSocket 接口add_timestamps 参数Sonic 3.6 有 44 种语言,包括泰语
Fish AudioWebSocket 先缓存文本,等上下文足够再生成,并有 flush 事件所引页面未说明S2 Pro 新增的语言中包括泰语
Botnoi Voice实时 WebSocket,以 base64 分块返回音频API 参考文档中没有时间字段20 多种语言,包括泰语、英语和中文
MurfFalcon 2,面向对话式 AI 和语音智能体的流式模型ALAW 和 ULAW,采样率可选 8000 Hz35 种语言,音色库中有泰语分类
ElevenLabs可通过 HTTP 和 WebSocket 调用ulaw_8000 和 alaw_8000 输出格式Eleven v4、v4 Turbo、v3 和 v3 Conversational 列出了泰语

哪些文本转语音 API 支持面向语音智能体的 WebSocket 流式输出?#

Deepgram 的流式指南介绍了一个 WebSocket:它把 Speak 消息里的文本排入队列,收到 Flush 消息后返回音频。Cartesia 的 API 参考文档提供用于实时合成的 WebSocket 接口。Fish Audio 的流式指南介绍的 WebSocket 会先缓存文本,等上下文足够再生成,也可以用 flush 事件强制生成。

Botnoi Voice 的 API 参考文档记载了一个以 base64 分块返回音频的实时 WebSocket。Murf 的 API 概览把 Falcon 2 称为面向对话式 AI 和实时语音智能体的流式模型。ElevenLabs 的 API 参考文档提供 HTTP 和 WebSocket 两种调用方式。

Paxa 的实时 WebSocket 在整场对话中保持连接。智能体把大模型陆续写出的文本片段发过来,每一部分的音频一就绪就返回。一轮说完时,flush 帧会把缓冲区里的内容全部读出来。来电者插话时,cancel 帧停下当前回复,连接保持打开,等待下一轮。

回复已经写完的话,就不必使用 WebSocket。流式 HTTP 请求同样会在合成过程中分块返回音频,延迟指南说明了两种连接各在什么情况下更快出声。什么是 AI 语音智能体介绍了语音前后的聆听和思考环节。

哪些文本转语音 API 能让一个音色说多种语言?#

Paxa TTS Flash v2 的每个音色都能说中文、英语和泰语,中文句子里夹的英文产品名也照样读得出来。来电者中途换语言时,智能体仍然用同一个音色。音色页面可以试听全部 50 个音色。

各家服务商、各个模型的语言列表都不一样。Deepgram 的 Aura 音色覆盖 7 种语言,其中没有中文,也没有泰语。Cartesia 在 Sonic 3.6 的 44 种语言里列出了泰语。ElevenLabs 的模型页面为 Eleven v4、Eleven v4 Turbo、Eleven v3 和 Eleven v3 Conversational 列出了泰语。MiniMax 的 API 把中文、粤语、英语和泰语设为不同的语言取值,Gemini-TTS 中泰语已正式可用,普通话处于 Preview 阶段。

语言列表只说明服务接受这种语言的文本。同一个音色在每种语言里听起来是否还是同一个人,要用您自己的脚本去听。中文文本转语音选购指南和泰语文本转语音选购指南按用途逐项说明。

哪些 API 能返回用于字幕和打断的词级时间戳?#

智能体要显示实时字幕,或者要知道来电者插话前听到了哪个词,就需要随音频一起返回的时间信息。Paxa TTS Flash v2 在 HTTP 请求和实时连接上都能返回词级、句级或整段时间戳,在实时连接上,时间片段以事件的形式与音频帧一同到达。中文和泰语的词与词之间没有空格,词级片段会把文本切分成词。

Cartesia 的 API 有 add_timestamps 参数。Microsoft 的 Speech SDK 在每个词读出时触发 WordBoundary 事件,并给出它在音频中的时间偏移。Botnoi Voice 的 API 参考文档中没有时间字段。词级时间戳指南介绍了这些片段的用途。

为 OpenAI 语音接口编写的代码,更换 base URL 和密钥后即可调用 Paxa 的兼容接口。词级时间戳由 Paxa 自己的语音接口和实时连接提供,使用同一个密钥。

哪些 API 输出的音频可以直接在电话线路上播放?#

电话系统传输的是 8 kHz 的 μ-law 或 A-law 音频。Paxa TTS Flash v2 在 HTTP 和实时连接上都能直接返回这两种格式,音频进入电话系统前无需重采样。面向应用和浏览器,它还能返回 MP3、Opus、WAV,以及 8 至 48 kHz 的原始 PCM。

Deepgram 的输出设置为流式 WebSocket 列出了 linear16、mulaw 和 alaw。ElevenLabs 的语音生成参考文档列出了 ulaw_8000 和 alaw_8000,并注明 μ-law 常用于 Twilio 的音频输入。Murf 列出了 ALAW 和 ULAW 输出,采样率可选 8000 Hz,它的音色库里有泰语分类。

重试语音请求时,怎样避免为同一段音频付两次钱?#

请求超时后,客户端无法确定它是否已经执行。在 Paxa 的 HTTP 语音接口上,请为每个请求带上 Idempotency-Key 请求头。用同一个键、完全相同的文本重试时,返回的是第一次请求留下的结果,只计费一次。

键可以用智能体手头已有的标识生成,例如通话编号加轮次序号。遇到速率限制时,请读取 API 返回的等待时间,等够了再重发。

说一轮话要多少钱?#

Paxa TTS Flash v2 按字符计费,每 1,000 个字符 10 积分,即每百万字符 $10。一条 200 个字符的回复需要 2 积分,约 $0.002。开启时间戳后,费率是原来的 1.25 倍,同一条回复需要 2.5 积分,约 $0.0025。

新账户自带 100 免费积分,无需绑卡,仅限个人使用和评估。各家服务商有的按字符计价,有的按分钟或套餐计价,对比页面列出了每家公布的价格及其来源。

什么情况下其他服务更合适?#

Paxa Labs 不提供声音克隆,Paxa TTS Flash v2 说三种语言。智能体要说西班牙语、德语、法语、荷兰语、意大利语或日语时,Deepgram 的 Aura-2 都能覆盖。需要克隆某位特定说话人的声音时,请查看文档中写明支持克隆的服务商,泰语文本转语音选购指南列出了这几家。产品如果已经基于某一家的 WebSocket 协议构建,迁移成本也要算进去。

接下来读什么、试什么?#

常见问题#

语音智能体用哪个文本转语音 API 最好?#

选能说来电者的语言、连接方式又适合您技术栈的那一个。Paxa TTS Flash v2 适合用同一个音色说中文、英语或泰语的智能体,WebSocket 和电话线路都能用。Deepgram Aura、Cartesia、Fish Audio、Botnoi Voice、Murf 和 ElevenLabs 的文档里也有流式连接。请用您自己的脚本试两三家。

什么是实时语音到语音的语音 AI?#

它是一种在同一场对话里听人说话并出声回答的系统。大多数由三部分组成:语音转文字写下来电者说的话,大模型写出回复,文本转语音把回复说出来。来电者多久能听到第一个字,取决于文本转语音这一环。

实时文本转语音能给游戏或陪伴角色配音吗?#

可以。电话智能体使用的实时连接同样适用于角色,Paxa TTS Flash v2 还能读出写在台词里的指示,例如 [耳语] 或 [轻笑]。AI 陪伴页面介绍了这类用法。

最便宜的文本转语音 API 是哪个?#

这取决于各家的计费单位和您的用量。Paxa TTS Flash v2 在所有套餐下都是每百万字符 $10。对比页面把各家公布的价格换算成同一单位,并附上来源。

怎样测试泰语语音智能体?#

写下智能体真正会说的回复,里面要有泰铢金额、日期、电话号码和英文品牌名,然后用电话听筒来听,因为来电者就是在那里听到的。泰语没有句号,所以要确认智能体在每一轮结束时发送 flush。泰语断句指南说明了泰语回复该在哪里切分。

继续阅读

更多指南