过去打电话给一家公司,意味着按数字选菜单,或者等人工接听。AI 语音智能体会自己接听电话。它听来电者说什么,想好回复,再说出来,一轮接一轮。
什么是 AI 语音智能体?#
AI 语音智能体是能进行语音对话的软件。它由依次运行的三部分组成。转写写下对方说的话,语言模型决定怎么回复,文本转语音把回复说出来。
人们可以拨打电话号码、点按应用里的麦克风按钮,或者对着自助终端和设备说话来使用它。
AI 语音智能体是怎样工作的?#
- 听带自动轮次检测的流式转写写下每一轮发言,并在来电者停下时报告。Paxa STT Lite Realtime 按收到的音频计费,每分钟 12.5 积分。
- 想语言模型读取这一轮发言、之前的对话和您的指令,然后写出回复。它还可以通过您自己的系统查询订单或预约时段。
- 说文本转语音把回复变成音频,边生成边回传。Paxa TTS Flash v2 可以说中文、英语和泰语,有 50 个音色可选。
- 应对打断来电者插话时,智能体停止说话并开始听。智能体的音频播放时会通知转写会话,会话不会把智能体自己的声音当成一轮发言。
为什么轮次检测很重要?#
语音对话没有发送按钮。智能体必须从音频中判断来电者什么时候说完,然后再回答。回答太早,就会打断来电者。等得太久,沉默听起来就像电话断了。泰语实时转写的发言轮次分析了泰语里一轮发言在哪里结束。
语音智能体为什么需要流式处理?#
AI 语音智能体用在哪里?#
搭建之前要决定什么?#
- 来电者说的语言。语音支持中文、英语和泰语,转写支持多种语言。
- 用哪个声音。在音色页面试听每个音色,选一个符合品牌的。
- 智能体可以自行处理哪些事,什么时候把电话转给人工。
- 怎样告诉来电者他们正在和 AI 对话。
- 用哪个语言模型写回复。Paxa 提供听和说两部分,语言模型由您选择。
运行一个 AI 语音智能体要多少钱?#
一通电话的费用是来电者音频的转写费,加上智能体回复的语音费。语言模型由其提供方另行计费。
| 部分 | 模型 | 价格 |
|---|---|---|
| 听 | Paxa STT Lite Realtime | 按收到的音频每分钟 12.5 积分 |
| 说 | Paxa TTS Flash v2 | 每 1,000 个字符 10 积分 |
以一通 5 分钟、智能体共说 1,500 个字符的电话为例。听完整通电话(含停顿)需要 62.5 积分,说话需要 15 积分。合计 77.5 积分,即 $0.08,不含语言模型的费用。
新账户自带 100 免费积分,无需绑卡,搭建期间两部分都能用。免费积分仅限个人使用和评估。购买任意套餐或积分包后,账户里的音频和文字稿都可以商用,包括购买之前生成的内容,详见服务条款。
怎样开始搭建?#
说明
Paxa STT Lite Realtime 是研究预览版,输出和选项可能在版本之间发生变化。
常见问题#
语音智能体和聊天机器人有什么区别?#
聊天机器人读写的是文字。语音智能体在语言模型之前加了转写,之后加了语音,还要在对话进行中处理发言轮次。实时转写与录音转写介绍了听的这一端。
AI 语音智能体能说泰语吗?#
可以。Paxa TTS Flash v2 会说泰语,泰语句子里的英文名字也用同一个声音读出。转写支持多种语言,每个词都会保留说出时所用的文字。
它用哪个语言模型?#
由您选择。Paxa 提供听和说两部分,您的应用在两者之间调用所选的语言模型。
来电者打断时会怎样?#
您的应用停止播放智能体的音频,转写会话接收来电者新的一轮发言。在智能体说话时通知会话,可以避免把智能体自己的声音算作一轮发言。