指南

逐词时间戳是什么,哪些 API 会返回?

逐词时间戳是每个词在音频中的起止时间。了解哪些语音转文字和文本转语音 API 会返回词级时间戳、它能用来做什么,以及费用多少。

· Paxa Labs · 阅读约 7 分钟

逐词时间戳也叫词级时间戳,是一个词在音频里开始和结束的时间。对于录音,Paxa STT Lite 会为文字稿中的每个词返回起止时间。对于合成语音,Paxa TTS Flash v2 会随音频一起返回。Deepgram、AssemblyAI、ElevenLabs、Amazon Transcribe、Google 和 Soniox 的文档写明了转写的词级时间,Cartesia、Microsoft Azure、Amazon Polly 和 WellSaid 的文档写明了语音合成的词级时间。

哪些语音转文字 API 会给出每个词的时间戳?#

每一行都链接到服务商自己的文档,只转述该页面写明的内容。表中顺序与推荐程度无关。

API文档中的叫法返回内容
Paxa STT Lite把 timestamps 设为 wordwords 数组,每一项是一个完整的词,带以秒为单位的起止时间。泰语会自动分词。
Deepgram录音转写响应中的 words 数组每个词带 start 和 end,以秒为单位,从音频开头算起。
AssemblyAI文字稿上的 words 数组文字稿中每个词一个对象,各带 start 和 end。
ElevenLabs Scribetimestamps_granularity,可设为 word 或 character每个词带以秒为单位的 start 和 end,也可以细到每个词里的字符。
Amazon Transcribe文字稿 JSON 中的 items 列表每个词的开始时间和结束时间。
Google Chirp 3BatchRecognize 上的词级时间戳开启后音频最长 20 分钟,不开启时最长一小时。
OpenAItimestamp_granularities词级或片段级时间戳,只适用于 whisper-1。
SonioxToken 时间戳每个 Token 带 start_ms 和 end_ms。一个 Token 可以是一个完整的词,也可以是词的一部分。
SpeechmaticsWord timings列在其 Batch 模型的功能中。

哪些文本转语音 API 会随音频返回词级时间戳?#

合成语音要做字幕和逐词高亮,就需要每个词的时间。各家返回的形式不同。有的放在和音频相同的响应里,有的以事件或单独的文件给出。

API文档中的叫法返回内容
Paxa TTS Flash v2把 timestamps 设为 word、sentence 或 utterance时间区间,带文字和以秒为单位的起止时间,与音频在同一个响应中返回。泰语文本无需加空格。
ElevenLabswith-timestamps 接口base64 编码的音频,以及每个字符的起止时间。
Cartesiaadd_timestamps随音频返回的词级时间信息。
Microsoft AzureSpeech SDK 的 WordBoundary 事件每个说出的词、标点和句子在音频中的时间偏移。
Amazon PollySpeech marks标记句子和词起止位置的元数据。Speech marks 请求返回的是这些标记,音频要另发一次请求获取。
WellSaidword timing 接口一个 zip 文件,内含音频以及 JSON、SRT 和 VTT 格式的词级时间。

逐词时间戳长什么样?#

每一项包含三样信息:词的文字、开始的秒数和结束的秒数。在 Paxa STT Lite 上,这些项以 words 数组的形式和文字稿一起返回,时间按录音自身的时钟计算。标点会并入相邻的词。把所有项依次拼接起来,就能得到完整的文字稿,一个字符也不会少。

在 Paxa TTS Flash v2 上,同样的结构叫作时间区间(span)。请求可以选择每个词、每句话,或者两次停顿之间的每段语音各返回一个区间。时间戳指南给出了完整的响应,转写指南给出了录音的词数组。

逐词时间戳能用来做什么?#

  • 字幕和时间轴。每一行字幕都在词的边界上出现和消失,屏幕上的文字因此与声音对得上。字幕生成器返回的 SRT 或 WebVTT 文件就是这样做出来的。
  • 逐词高亮。课程、文章或卡拉 OK 歌词随着朗读逐词点亮,字幕页面可以试听示例。
  • 在音频里搜索。在会议或播客里搜索一句话,直接跳到说出这句话的那一秒。
  • 按文字剪辑。在文字稿里删掉一句话,就得到这句话在音频里的剪切点。
  • 口型同步和动画。角色的口型、幻灯片的切换或字幕特效都跟着每个词的时间走。

为什么泰语和中文需要 API 来判断一个词在哪里结束?#

英语的词与词之间有空格,一个词在哪里结束,大家的看法是一致的。泰语和中文的词之间不写空格。API 要给这样的文本标时间,就得先判断每个词在哪里结束,才能给这个词一个时间。有些 API 返回的是每个字符或每个 Token 的时间,开发者还要自己把这些片段拼成词。

Paxa STT Lite 会为泰语分词,每一项对应一个完整的词。泰语句子里夹带的英语单词和数字也会整词返回。字幕就在这些词的边界上换行,一个泰语词因此不会被拆到两行。用词级时间戳制作泰语字幕一步步演示了字幕文件的做法。如果音频里多种语言混着说,可以参考适合多语言音频的语音转文字 API。

逐词时间戳要多少钱?#

转写时不另外收费。Paxa STT Lite 每分钟音频收取 8.33 积分,即每小时 $0.50,要不要词级时间戳、说话人编号或字幕文件,价格都一样。语音合成时,带时间戳的请求按语音费率的 1.25 倍计费。Paxa TTS Flash v2 每 1,000 个字符收取 10 积分,即每百万字符 $10,这是乘以倍数之前的价格。

新账户自带 100 免费积分,无需绑卡,约可转写 12 分钟 的音频。其他服务商的价格见语音转文字 API 对比和文本转语音 API 对比。

不写代码怎么试用逐词时间戳?#

  • 把一段录音上传到“转写”工具,打开词级时间戳。结果会列出每个词和它的时间,同一个页面还能下载字幕文件。
  • 把脚本粘贴到“语音”工具,打开时间戳。朗读到哪个词,哪个词就会亮起。

接下来读什么?#

常见问题#

哪个 API 会给出每个词的时间戳?#

对于录音,把 timestamps 设为 word 后,Paxa STT Lite 会返回每个词的起止时间。Deepgram、AssemblyAI、ElevenLabs Scribe 和 Amazon Transcribe 的文档也写明了逐词的起止时间。对于合成语音,Paxa TTS Flash v2 和 Cartesia 会随音频返回词级时间。

要多少钱?#

文字稿的词级时间戳已包含在 Paxa STT Lite 每分钟 8.33 积分的价格里。在 Paxa TTS Flash v2 上,带时间戳的请求按语音费率的 1.25 倍计费。

OpenAI 会返回词级时间戳吗?#

OpenAI 的转写指南只在 whisper-1 上支持 timestamp_granularities,实时转写指南写明 gpt-live-transcribe 不返回词级时间戳。Paxa 兼容 OpenAI 的转写接口在 timestamp_granularities 包含 word 时返回词列表,实时语音连接同样带时间信息。

逐词时间戳能用于泰语吗?#

可以。Paxa STT Lite 先为泰语分词,再给每个词标时间,Paxa TTS Flash v2 对它朗读的文本也是这样处理。文本里不需要额外加空格。

想要字幕文件,必须先请求逐词时间戳吗?#

不需要。直接向 Paxa STT Lite 请求 SRT 或 WebVTT 文件,系统会自己读取词的时间。两样都请求时,字幕文件和词列表会在同一个响应里返回,不另外收费。

继续阅读

更多指南