指南

什么是 AI 语音智能体?工作原理和应用场景

AI 语音智能体听来电者说话,用语言模型决定回复内容,再用合成声音回答。了解各部分如何配合,以及一通电话的费用。

· 阅读约 1 分钟

过去打电话给一家公司,意味着按数字选菜单,或者等人工接听。AI 语音智能体会自己接听电话。它听来电者说什么,想好回复,再说出来,一轮接一轮。

什么是 AI 语音智能体?#

AI 语音智能体是能进行语音对话的软件。它由依次运行的三部分组成。转写写下对方说的话,语言模型决定怎么回复,文本转语音把回复说出来。

人们可以拨打电话号码、点按应用里的麦克风按钮,或者对着自助终端和设备说话来使用它。

AI 语音智能体是怎样工作的?#

  1. 听带自动轮次检测的流式转写写下每一轮发言,并在来电者停下时报告。Paxa STT Lite Realtime 按收到的音频计费,每分钟 12.5 积分。
  2. 想语言模型读取这一轮发言、之前的对话和您的指令,然后写出回复。它还可以通过您自己的系统查询订单或预约时段。
  3. 说文本转语音把回复变成音频,边生成边回传。Paxa TTS Flash v2 可以说中文、英语和泰语,有 50 个音色可选。
  4. 应对打断来电者插话时,智能体停止说话并开始听。智能体的音频播放时会通知转写会话,会话不会把智能体自己的声音当成一轮发言。

为什么轮次检测很重要?#

语音对话没有发送按钮。智能体必须从音频中判断来电者什么时候说完,然后再回答。回答太早,就会打断来电者。等得太久,沉默听起来就像电话断了。泰语实时转写的发言轮次分析了泰语里一轮发言在哪里结束。

语音智能体为什么需要流式处理?#

每个部分都要在前一部分完成之前开始工作。转写在每轮结束时立即发送,语言模型以流式输出回复,文本转语音在整段回复写完之前就开始说话。实时文本转语音和实时语音转文字分别介绍了声音的两端。

AI 语音智能体用在哪里?#

  • 客服热线,回答常见问题,把较难的来电转给人工。参见呼叫中心页面。
  • 诊所、餐厅和配送的预约与提醒。
  • 会回话的陪伴角色和虚拟角色。参见陪伴页面和 AI 陪伴页面。
  • 应用、汽车和设备里的语音控制。

搭建之前要决定什么?#

  • 来电者说的语言。语音支持中文、英语和泰语,转写支持多种语言。
  • 用哪个声音。在音色页面试听每个音色,选一个符合品牌的。
  • 智能体可以自行处理哪些事,什么时候把电话转给人工。
  • 怎样告诉来电者他们正在和 AI 对话。
  • 用哪个语言模型写回复。Paxa 提供听和说两部分,语言模型由您选择。

运行一个 AI 语音智能体要多少钱?#

一通电话的费用是来电者音频的转写费,加上智能体回复的语音费。语言模型由其提供方另行计费。

部分模型价格
听Paxa STT Lite Realtime按收到的音频每分钟 12.5 积分
说Paxa TTS Flash v2每 1,000 个字符 10 积分

以一通 5 分钟、智能体共说 1,500 个字符的电话为例。听完整通电话(含停顿)需要 62.5 积分,说话需要 15 积分。合计 77.5 积分,即 $0.08,不含语言模型的费用。

新账户自带 100 免费积分,无需绑卡,搭建期间两部分都能用。免费积分仅限个人使用和评估。购买任意套餐或积分包后,账户里的音频和文字稿都可以商用,包括购买之前生成的内容,详见服务条款。

怎样开始搭建?#

  1. 试听声音把智能体会说的一句回复输入“语音”工具,用几个不同的音色听一听。
  2. 测试听的部分在“转写”工具中打开“实时转写”,像来电者那样说话,看每一轮在哪里结束。
  3. 看一个实际的智能体语音智能体页面展示了电话线路上的智能体各部分如何连接。

说明

Paxa STT Lite Realtime 是研究预览版,输出和选项可能在版本之间发生变化。

常见问题#

语音智能体和聊天机器人有什么区别?#

聊天机器人读写的是文字。语音智能体在语言模型之前加了转写,之后加了语音,还要在对话进行中处理发言轮次。实时转写与录音转写介绍了听的这一端。

AI 语音智能体能说泰语吗?#

可以。Paxa TTS Flash v2 会说泰语,泰语句子里的英文名字也用同一个声音读出。转写支持多种语言,每个词都会保留说出时所用的文字。

它用哪个语言模型?#

由您选择。Paxa 提供听和说两部分,您的应用在两者之间调用所选的语言模型。

来电者打断时会怎样?#

您的应用停止播放智能体的音频,转写会话接收来电者新的一轮发言。在智能体说话时通知会话,可以避免把智能体自己的声音算作一轮发言。

继续阅读

更多指南