LibreChat 文本转语音与语音输入

如果 LibreChat 部署要服务说多种语言的用户,就需要用每一种语言朗读回复。在 librechat.yaml 中把 Paxa 设为 LibreChat 的 OpenAI 语音服务商,回复就能用中文、英语和泰语朗读。同一个文件还能加入 Paxa 语音转写,让用户用语音与聊天对话。

一段 speech 配置,指向 Paxa#

LibreChat 从 .env 读取密钥,从 librechat.yaml 读取语音服务商。示例旁的说明取自设置指南。

speech:
  tts:
    openai:
      url: 'https://api.paxalabs.com/v1/audio/speech'
      apiKey: '${TTS_API_KEY}'
      model: 'paxa-tts-flash-v2'
      voices: ['khanomkrok', 'nomyen', 'foithong']
  stt:
    openai:
      url: 'https://api.paxalabs.com/v1/audio/transcriptions'
      apiKey: '${STT_API_KEY}'
      model: 'paxa-stt-lite-v1-preview'

Add Paxa to librechat.yaml

  • Set url to the full endpoint path, as in the sample.
  • List the voices your users can pick under voices. Any voice id from GET /v1/voices whose model is paxa-tts-flash-v2 works.
  • Keep one provider under each of speech.tts and speech.stt, and remove any other.
  • OpenAI's model and voice names, such as tts-1 and alloy, also work (accepted voice names).

从密钥到会说话的聊天#

LibreChat 保留原有的端点和模型。Paxa 负责朗读回复,并转写用户说的话。

  1. 添加密钥

    把 Paxa API 密钥写入 LibreChat 的 .env 文件,作为 TTS_API_KEY 和 STT_API_KEY。

  2. 添加 speech 配置

    在 librechat.yaml 中,把 speech.tts.openai 设为 Paxa 语音合成的完整 URL、模型 paxa-tts-flash-v2 和用户可选的音色,再把 speech.stt.openai 的模型设为 paxa-stt-lite-v1-preview。

  3. 为用户开启

    重启 LibreChat。每位用户可以在自己的语音设置中选择引擎,也可以把 engineTTS 和 engineSTT 设为 external,让 Paxa 成为默认引擎。

Paxa TTS Flash v2 标价为每百万字符 $10。Paxa STT Lite 标价为每小时音频 $0.50,按毫秒计费。

常见问题#

LibreChat 是什么?

LibreChat 称自己是开源 AI 平台,把所有 AI 对话汇集到一个统一、可定制的界面中。它是一个自托管的 Web 应用,语音设置接受 OpenAI 语音服务商。

LibreChat 用户可以选择哪些音色?

用户可以从您在 librechat.yaml 的 voices 中列出的音色里选择。Paxa TTS Flash v2 的全部 50 个音色都能使用,每个音色都能说中文、英语和泰语。GET /v1/voices 列出所有音色 ID,音色库可以试听。

OpenAI 的模型名和音色名能用吗?

可以。OpenAI 的模型名和音色名,例如 tts-1 和 alloy,在 Paxa 上同样可用(可用的音色名)。设置 Paxa 音色 ID 即可选择朗读的音色。

录音最长多久?

每段录音最长 120 分钟、最大 95 MiB。Paxa STT Lite 目前是研究预览版。

从免费积分开始

使用 Google、GitHub 或 Hugging Face 登录,即可用 100 一次性免费积分处理您自己的文本。