同时在多路通话中说话和收听的应用,过去每路通话都要打开两条 WebSocket。两百名坐席同时通话,就要维持四百条连接。每路新通话都要等自己的连接建立后才能说出第一个字,每条连接还各自需要保活、重连和关闭处理。
11 月 18 日,我们发布了 WS /v1/tts/multi 和 WS /v1/stt/multi,它们可以在一条长连接上承载多路通话。每路通话是一个 context,由您自选的 ID 命名。一个 context 的行为与一条 WS /v1/tts/live 或 WS /v1/stt/live 连接完全相同,帧、事件、计费和限制都一致。
发布内容#
WS /v1/tts/multi同时为多路通话朗读流式传入的文本,可使用 Paxa TTS Flash v2 或 Paxa TTS Flash 的任意音色。每个 context 自选音色和音频格式,包括电话使用的 mu-law 和 A-law。WS /v1/stt/multi使用 Paxa STT Lite Realtime 同时转写多路通话,每个 context 都是带自动轮次检测的流式转写。- 每个 JSON 帧和每个事件都带有
context_id。音频通过二进制帧传输,帧开头是一段标明 context 的简短头部。 - context 以一个
closed事件结束,其中的关闭码与单独连接会使用的关闭码相同。同一条连接上的其他通话照常进行。 - 重启之前,服务器会发送
draining,并给出一段宽限时间,供您把通话迁移到新连接。
适用场景#
任何同时维持多场对话的服务,都可以让每台服务器只用几条连接。
呼叫中心#
呼叫中心里每路进行中的通话持有一个语音合成 context,用于坐席的声音,以及一个转写 context,用于来电者。context 在通话接通时打开,在挂断时关闭。处理数百路通话的服务器全天保持两条连接。
在两条连接上都用您自己的通话 ID 作为 context_id。转写稿、音频和每一张计费回执都会直接指向这路通话。
语音智能体平台#
为众多企业托管语音智能体的平台,可以把每场对话作为 worker 连接上的一个 context。某个智能体出错时,只会以一个关闭码关闭它自己的 context,旁边的对话继续进行。每个 context 单独报告自己的费用,平台可以据此向通话背后的企业结算。
电话线路与 SIP 网关#
把电话线路接入智能体的媒体服务器,从每条线路收到 8 kHz 的 mu-law 音频。它可以在音频到达时立即转发给 WS /v1/stt/multi,前面加上该线路的 ID。回复从 WS /v1/tts/multi 以 mu-law 或 A-law 返回,两个方向都无需转码。
多个会场同时实时字幕#
每位发言人一个 context#
能够分别拿到每位参会者音轨的会议工具,可以把每条音轨放在各自的 context 中转写。这样会议记录里的每一行都只属于一位参会者,无需从混合录音中区分说话人。参会者进出会议时,context 随之打开和关闭。
游戏与互动故事中的角色#
语言学习与辅导#
语言学习应用通过转写 context 收听每位学习者,通过语音合成 context 作答,一台服务器可以服务很多学习者。每个 context 自行设定音色和语言,学习中文、英语和泰语的用户可以共用同样的两条连接。
外呼与广播通知#
预约提醒和物流通知以电话形式外呼,每路通话是在对方接听时打开的一个语音合成 context。数千路通话的外呼活动,可以直接运行在外呼系统已有的连接上。车站和门店的广播通知也是同样的做法,每个扬声器分区一个 context。
context 如何运作#
打开连接时,把 API 密钥放在 Authorization 或 x-api-key 请求头中。带有新 context_id 的 start 帧会打开一个 context,字段与单独连接的 start 相同。ID 长 1 到 64 个字符,由字母、数字以及 .、_、: 或 - 组成。
您为这路通话发送的每一帧,以及它返回的每一个事件,都带有这个 ID。二进制音频帧以一个字节开头,表示 ID 的长度,随后是 ASCII 形式的 ID,再后面是音频,每帧最多 64 KiB。下面是一个语音合成 context 朗读一句话时的事件:
{"type":"started","context_id":"call-1042","connection":"7d9c2b7e-4a41-4c8e-9a35-1f26d8c04b7a","model":"paxa-tts-flash-v2","voice":"khanomkrok","format":"mp3","sample_rate":44100}
{"type":"charged","context_id":"call-1042","seq":1,"chars":36,"credits":0.36,"total_credits":0.36}
{"type":"flushed","context_id":"call-1042","seq":1}
{"type":"done","context_id":"call-1042","total_chars":36,"total_credits":0.36}
{"type":"closed","context_id":"call-1042","code":1000,"reason":"session complete"}收到 closed 之后,这个 ID 就可以用于新的通话。一个 context 如果 300 秒内没有收到任何帧,也没有发出任何内容,会以 4408 关闭。
单路通话出错时#
出错只会关闭出错的那个 context。积分用完时以 4402 关闭该 context,帧格式错误时以 4400 关闭,后端故障时以对应的关闭码关闭。同一条连接上的其他 context 继续运行。
只有两种情况会关闭整条连接,因为这个密钥已经无法再产生任何扣费:密钥失效(4401),或者密钥达到消费上限(4403)。所有打开的 context 都会先以该关闭码报告 closed。
重启之前,服务器会发送带有宽限秒数的 draining。请打开一条新连接,在新连接上开始新的通话,并在每路进行中的通话到达下一个轮次边界时把它迁移过去。
计费与限制#
每个打开的 context 占用套餐在该产品上的一个并发名额,与单独连接合并计算。连接本身对 context 数量没有限制。每段语音合成消耗每分钟速率限制中的一次请求,转写 context 在 start 时消耗一次。
连接保持打开期间,系统会重新读取账户的套餐和密钥的消费上限。升级套餐后,下一个 context 无需重连即可生效。
何时单独连接更简单#
多路复用连接通过请求头接收 API 密钥,因此适合放在您的服务器上。浏览器应用,或一次只进行一场对话的产品,使用 WS /v1/tts/live 和 WS /v1/stt/live 更简单。同一个账户可以同时使用两种连接。
常见问题#
在多路复用连接上通话会更贵吗?#
费用完全相同。一个 context 按一条独立连接计费,费率一样,单次请求的最低收费也是每路通话只计一次。
一条连接能承载多少路通话?#
以套餐在该产品上的并发数为准。连接本身不设上限,context 从 start 到 closed 期间一直占用它的名额。
一条连接能同时承载语音合成和转写吗?#
一条连接只承载一种产品。既要说话又要收听的通话,在 WS /v1/tts/multi 和 WS /v1/stt/multi 上各持有一个 context,两者可以使用同一个 context_id。
部署期间,进行中的通话会怎样?#
服务器会先发送带宽限时间的 draining,已打开的通话在宽限期内照常进行。宽限期结束时仍未结束的通话以 1001 关闭。正在生成的语音合成片段会完成或退款,转写按已收到的音频计费。
context ID 可以重复使用吗?#
可以,在收到它的 closed 事件之后。发给未打开 ID 的迟到帧只会返回一个错误,不会关闭任何内容,因此不会结束复用了该 ID 的新通话。
下一步#
- 阅读一条 WebSocket 上的多个会话,了解二进制头部、关闭码和重启处理,并查看 TypeScript 与 Python 客户端示例。
- 阅读实时转写发布文章,了解 context 如何判断每一轮在哪里结束。
接口契约以文档为准。