博客

一条 WebSocket 承载多路实时通话的语音合成与转写

WS /v1/tts/multi 和 WS /v1/stt/multi 在一条 WebSocket 上承载多路实时语音合成与转写会话,每路会话都有自己的 ID、计费和关闭码。

· Paxa Labs · 阅读约 7 分钟

同时在多路通话中说话和收听的应用,过去每路通话都要打开两条 WebSocket。两百名坐席同时通话,就要维持四百条连接。每路新通话都要等自己的连接建立后才能说出第一个字,每条连接还各自需要保活、重连和关闭处理。

11 月 18 日,我们发布了 WS /v1/tts/multi 和 WS /v1/stt/multi,它们可以在一条长连接上承载多路通话。每路通话是一个 context,由您自选的 ID 命名。一个 context 的行为与一条 WS /v1/tts/live 或 WS /v1/stt/live 连接完全相同,帧、事件、计费和限制都一致。

发布内容#

  • WS /v1/tts/multi 同时为多路通话朗读流式传入的文本,可使用 Paxa TTS Flash v2 或 Paxa TTS Flash 的任意音色。每个 context 自选音色和音频格式,包括电话使用的 mu-law 和 A-law。
  • WS /v1/stt/multi 使用 Paxa STT Lite Realtime 同时转写多路通话,每个 context 都是带自动轮次检测的流式转写。
  • 每个 JSON 帧和每个事件都带有 context_id。音频通过二进制帧传输,帧开头是一段标明 context 的简短头部。
  • context 以一个 closed 事件结束,其中的关闭码与单独连接会使用的关闭码相同。同一条连接上的其他通话照常进行。
  • 重启之前,服务器会发送 draining,并给出一段宽限时间,供您把通话迁移到新连接。

适用场景#

任何同时维持多场对话的服务,都可以让每台服务器只用几条连接。

呼叫中心#

呼叫中心里每路进行中的通话持有一个语音合成 context,用于坐席的声音,以及一个转写 context,用于来电者。context 在通话接通时打开,在挂断时关闭。处理数百路通话的服务器全天保持两条连接。

在两条连接上都用您自己的通话 ID 作为 context_id。转写稿、音频和每一张计费回执都会直接指向这路通话。

语音智能体平台#

为众多企业托管语音智能体的平台,可以把每场对话作为 worker 连接上的一个 context。某个智能体出错时,只会以一个关闭码关闭它自己的 context,旁边的对话继续进行。每个 context 单独报告自己的费用,平台可以据此向通话背后的企业结算。

电话线路与 SIP 网关#

把电话线路接入智能体的媒体服务器,从每条线路收到 8 kHz 的 mu-law 音频。它可以在音频到达时立即转发给 WS /v1/stt/multi,前面加上该线路的 ID。回复从 WS /v1/tts/multi 以 mu-law 或 A-law 返回,两个方向都无需转码。

多个会场同时实时字幕#

为每间教室的讲座配实时字幕的大学,或者多个分会场并行的大会,可以为每个会场打开一个转写 context。每个 context 自行判断每一轮在哪里结束,并返回这一轮的最终转写。

每位发言人一个 context#

能够分别拿到每位参会者音轨的会议工具,可以把每条音轨放在各自的 context 中转写。这样会议记录里的每一行都只属于一位参会者,无需从混合录音中区分说话人。参会者进出会议时,context 随之打开和关闭。

游戏与互动故事中的角色#

游戏或互动故事可以让场景中的每个角色拥有自己的语音合成 context 和自己的音色。台词随对话系统的生成逐段流出。一条 cancel 可以让某个角色在句中停下,其他角色继续说话。

语言学习与辅导#

语言学习应用通过转写 context 收听每位学习者,通过语音合成 context 作答,一台服务器可以服务很多学习者。每个 context 自行设定音色和语言,学习中文、英语和泰语的用户可以共用同样的两条连接。

外呼与广播通知#

预约提醒和物流通知以电话形式外呼,每路通话是在对方接听时打开的一个语音合成 context。数千路通话的外呼活动,可以直接运行在外呼系统已有的连接上。车站和门店的广播通知也是同样的做法,每个扬声器分区一个 context。

context 如何运作#

打开连接时,把 API 密钥放在 Authorization 或 x-api-key 请求头中。带有新 context_id 的 start 帧会打开一个 context,字段与单独连接的 start 相同。ID 长 1 到 64 个字符,由字母、数字以及 .、_、: 或 - 组成。

您为这路通话发送的每一帧,以及它返回的每一个事件,都带有这个 ID。二进制音频帧以一个字节开头,表示 ID 的长度,随后是 ASCII 形式的 ID,再后面是音频,每帧最多 64 KiB。下面是一个语音合成 context 朗读一句话时的事件:

Server events
{"type":"started","context_id":"call-1042","connection":"7d9c2b7e-4a41-4c8e-9a35-1f26d8c04b7a","model":"paxa-tts-flash-v2","voice":"khanomkrok","format":"mp3","sample_rate":44100}
{"type":"charged","context_id":"call-1042","seq":1,"chars":36,"credits":0.36,"total_credits":0.36}
{"type":"flushed","context_id":"call-1042","seq":1}
{"type":"done","context_id":"call-1042","total_chars":36,"total_credits":0.36}
{"type":"closed","context_id":"call-1042","code":1000,"reason":"session complete"}

收到 closed 之后,这个 ID 就可以用于新的通话。一个 context 如果 300 秒内没有收到任何帧,也没有发出任何内容,会以 4408 关闭。

单路通话出错时#

出错只会关闭出错的那个 context。积分用完时以 4402 关闭该 context,帧格式错误时以 4400 关闭,后端故障时以对应的关闭码关闭。同一条连接上的其他 context 继续运行。

只有两种情况会关闭整条连接,因为这个密钥已经无法再产生任何扣费:密钥失效(4401),或者密钥达到消费上限(4403)。所有打开的 context 都会先以该关闭码报告 closed。

重启之前,服务器会发送带有宽限秒数的 draining。请打开一条新连接,在新连接上开始新的通话,并在每路进行中的通话到达下一个轮次边界时把它迁移过去。

计费与限制#

一个 context 按一条独立连接计费,费率与实时语音合成和实时转写相同。单次请求的最低收费每个 context 只计一次,它的 charged 回执和 done 总额只统计这一路通话。

每个打开的 context 占用套餐在该产品上的一个并发名额,与单独连接合并计算。连接本身对 context 数量没有限制。每段语音合成消耗每分钟速率限制中的一次请求,转写 context 在 start 时消耗一次。

连接保持打开期间,系统会重新读取账户的套餐和密钥的消费上限。升级套餐后,下一个 context 无需重连即可生效。

何时单独连接更简单#

多路复用连接通过请求头接收 API 密钥,因此适合放在您的服务器上。浏览器应用,或一次只进行一场对话的产品,使用 WS /v1/tts/live 和 WS /v1/stt/live 更简单。同一个账户可以同时使用两种连接。

常见问题#

在多路复用连接上通话会更贵吗?#

费用完全相同。一个 context 按一条独立连接计费,费率一样,单次请求的最低收费也是每路通话只计一次。

一条连接能承载多少路通话?#

以套餐在该产品上的并发数为准。连接本身不设上限,context 从 start 到 closed 期间一直占用它的名额。

一条连接能同时承载语音合成和转写吗?#

一条连接只承载一种产品。既要说话又要收听的通话,在 WS /v1/tts/multi 和 WS /v1/stt/multi 上各持有一个 context,两者可以使用同一个 context_id。

部署期间,进行中的通话会怎样?#

服务器会先发送带宽限时间的 draining,已打开的通话在宽限期内照常进行。宽限期结束时仍未结束的通话以 1001 关闭。正在生成的语音合成片段会完成或退款,转写按已收到的音频计费。

context ID 可以重复使用吗?#

可以,在收到它的 closed 事件之后。发给未打开 ID 的迟到帧只会返回一个错误,不会关闭任何内容,因此不会结束复用了该 ID 的新通话。

下一步#

接口契约以文档为准。

继续阅读

博客的其他文章