แอปที่ต้องพูดและฟังหลายสายพร้อมกันเคยต้องเปิด WebSocket สองเส้นต่อหนึ่งสาย พนักงานสองร้อยคนที่รับสายพร้อมกันจึงถือ WebSocket อยู่สี่ร้อยเส้น ทุกสายใหม่ต้องรอการเชื่อมต่อของตัวเองก่อนคำแรกจะออกไป และทุกเส้นต้องดูแล keepalive การต่อใหม่ และการปิดแยกกัน
ตั้งแต่ 18 พฤศจิกายน เป็นต้นไป WS /v1/tts/multi และ WS /v1/stt/multi รับหลายสายบน WebSocket เดียวที่เปิดค้างไว้ได้ แต่ละสายเรียกว่า context และตั้งชื่อด้วย id ที่คุณเลือกเอง หนึ่ง context ทำงานเหมือนการเชื่อมต่อ WS /v1/tts/live หรือ WS /v1/stt/live หนึ่งเส้นทุกประการ ทั้งเฟรม อีเวนต์ ค่าบริการ และลิมิต
มีอะไรใหม่#
WS /v1/tts/multiอ่านข้อความที่สตรีมเข้ามาให้หลายสายพร้อมกัน ด้วยเสียงใดก็ได้ของ Paxa TTS Flash v2 หรือ Paxa TTS Flash แต่ละ context เลือกเสียงและฟอร์แมตเสียงของตัวเอง รวมถึง mu-law และ A-law สำหรับระบบโทรศัพท์WS /v1/stt/multiถอดเสียงหลายสายพร้อมกันด้วย Paxa STT Lite Realtime ทุก context ได้การถอดเสียงแบบสตรีมที่ตรวจจับรอบพูดให้อัตโนมัติ- ทุกเฟรม JSON และทุกอีเวนต์มี
context_idกำกับ เสียงส่งเป็นเฟรมไบนารีที่ขึ้นต้นด้วยเฮดเดอร์สั้น ๆ ระบุ context - context จบด้วยอีเวนต์
closedหนึ่งครั้ง ซึ่งแจ้งโค้ดปิดเดียวกับที่การเชื่อมต่อเดี่ยวจะใช้ สายอื่นบน WebSocket เดียวกันทำงานต่อตามปกติ - ก่อนรีสตาร์ต เซิร์ฟเวอร์ส่ง
drainingพร้อมระยะผ่อนผันสำหรับย้ายสายไป WebSocket เส้นใหม่
เหมาะกับงานแบบไหน#
บริการที่ถือหลายบทสนทนาในเวลาเดียวกันใช้ WebSocket เพียงไม่กี่เส้นต่อเซิร์ฟเวอร์ได้
คอลเซ็นเตอร์#
ทุกสายที่กำลังคุยในคอลเซ็นเตอร์มี context เสียงพูดหนึ่งตัวสำหรับเสียงของเจ้าหน้าที่ และ context ถอดเสียงหนึ่งตัวสำหรับผู้โทร context เปิดเมื่อสายต่อติดและปิดเมื่อวางสาย เซิร์ฟเวอร์ที่รับสายหลายร้อยสายจึงเปิด WebSocket ไว้แค่สองเส้นทั้งวัน
ใช้ call id ของระบบคุณเป็น context_id บนทั้งสองเส้น บทถอดเสียง เสียง และใบแจ้งค่าบริการทุกใบจะอ้างถึงสายนั้นโดยตรง
แพลตฟอร์ม Voice Agent#
แพลตฟอร์มที่ให้บริการ Voice Agent แก่หลายธุรกิจรันแต่ละบทสนทนาเป็น context บน WebSocket ของ worker หาก agent ตัวหนึ่งล้มเหลว จะปิดเฉพาะ context ของตัวเองพร้อมโค้ด บทสนทนาข้าง ๆ ดำเนินต่อ และแต่ละ context รายงานค่าบริการของตัวเอง แพลตฟอร์มจึงเรียกเก็บต่อจากธุรกิจเจ้าของสายนั้นได้ตรงตัว
คู่สายโทรศัพท์และ SIP gateway#
media server ที่เชื่อมคู่สายโทรศัพท์เข้ากับ agent ได้รับเสียง mu-law 8 kHz จากแต่ละคู่สาย เซิร์ฟเวอร์ส่งเสียงนั้นต่อเข้า WS /v1/stt/multi ได้ทันทีที่มาถึง โดยแปะ id ของคู่สายไว้ข้างหน้า คำตอบกลับมาจาก WS /v1/tts/multi เป็น mu-law หรือ A-law โดยไม่ต้องแปลงฟอร์แมตทั้งขาเข้าและขาออก
คำบรรยายสดหลายห้องพร้อมกัน#
มหาวิทยาลัยที่ทำคำบรรยายสดให้การบรรยายทุกห้อง หรืองานสัมมนาที่มีหลายเวทีคู่ขนาน เปิด context ถอดเสียงหนึ่งตัวต่อหนึ่งห้อง แต่ละ context หาจุดจบของรอบพูดเองและส่งบทถอดฉบับสมบูรณ์ของรอบนั้นมาให้
หนึ่ง context ต่อผู้พูดหนึ่งคน#
เครื่องมือประชุมที่ได้รับเสียงของผู้เข้าร่วมแยกเป็นรายคน ถอดเสียงแต่ละแทร็กใน context ของตัวเองได้ ทุกบรรทัดของ บันทึกการประชุม จึงเป็นของผู้เข้าร่วมคนเดียว โดยไม่ต้องแยกผู้พูดจากไฟล์เสียงที่ผสมรวมกัน context เปิดและปิดตามคนที่เข้าและออกจากห้อง
ตัวละครในเกมและเรื่องเล่า#
เกมหรือเรื่องเล่าแบบโต้ตอบให้ตัวละครทุกตัวในฉากมี context เสียงพูดของตัวเอง พร้อมเสียงของตัวเองได้ บทพูดสตรีมออกมาตามที่ระบบบทสนทนาเขียน คำสั่ง cancel หยุดตัวละครตัวหนึ่งกลางประโยคได้ ขณะที่ตัวอื่นพูดต่อ
แอปเรียนภาษาและติวเตอร์#
แอปเรียนภาษาฟังผู้เรียนแต่ละคนผ่าน context ถอดเสียง และตอบผ่าน context เสียงพูด โดยเซิร์ฟเวอร์หนึ่งเครื่องรองรับผู้เรียนได้หลายคน แต่ละ context ตั้งเสียงและภาษาของตัวเอง ผู้เรียนภาษาไทย อังกฤษ และจีนกลางจึงใช้ WebSocket สองเส้นเดียวกันได้
โทรออกและประกาศเสียง#
การเตือนนัดหมายและการแจ้งสถานะพัสดุออกไปเป็นสายโทร แต่ละสายคือ context เสียงพูดที่เปิดเมื่อปลายสายรับ แคมเปญหลายพันสายรันบน WebSocket ที่ระบบโทรออกถืออยู่แล้วได้เลย ประกาศเสียง ในสถานีหรือร้านค้าก็ทำแบบเดียวกัน โดยใช้หนึ่ง context ต่อหนึ่งโซนลำโพง
context ทำงานอย่างไร#
เปิด WebSocket โดยใส่ API key ในเฮดเดอร์ Authorization หรือ x-api-key เฟรม start ที่มี context_id ใหม่จะเปิด context และรับฟิลด์ชุดเดียวกับ start ของการเชื่อมต่อเดี่ยว id มีความยาว 1 ถึง 64 ตัวอักษร ประกอบด้วยตัวอักษรภาษาอังกฤษ ตัวเลข และ . _ : หรือ -
ทุกเฟรมที่คุณส่งให้สายนั้น และทุกอีเวนต์ที่ส่งกลับมา มี id นี้กำกับ เฟรมเสียงไบนารีขึ้นต้นด้วยหนึ่งไบต์ที่บอกความยาวของ id ตามด้วย id เป็น ASCII แล้วจึงเป็นเสียง เฟรมหนึ่งยาวได้ไม่เกิน 64 KiB ตัวอย่างนี้คือ context เสียงพูดหนึ่งตัวที่พูดหนึ่งประโยค
{"type":"started","context_id":"call-1042","connection":"7d9c2b7e-4a41-4c8e-9a35-1f26d8c04b7a","model":"paxa-tts-flash-v2","voice":"khanomkrok","format":"mp3","sample_rate":44100}
{"type":"charged","context_id":"call-1042","seq":1,"chars":36,"credits":0.36,"total_credits":0.36}
{"type":"flushed","context_id":"call-1042","seq":1}
{"type":"done","context_id":"call-1042","total_chars":36,"total_credits":0.36}
{"type":"closed","context_id":"call-1042","code":1000,"reason":"session complete"}หลังได้รับ closed แล้ว id นั้นนำไปใช้กับสายใหม่ได้ context ที่ไม่มีเฟรมเข้าและไม่มีอะไรส่งออกนาน 300 วินาทีจะปิดด้วยโค้ด 4408
เมื่อสายหนึ่งล้มเหลว#
ความล้มเหลวปิดเฉพาะ context ของตัวเอง เครดิตหมดจะปิด context นั้นด้วย 4402 เฟรมผิดรูปแบบด้วย 4400 และระบบหลังบ้านขัดข้องด้วยโค้ดของกรณีนั้น context อื่นบน WebSocket เดียวกันทำงานต่อ
มีสองกรณีที่ปิดทั้ง WebSocket เพราะคีย์นั้นจะเรียกเก็บเงินอะไรต่อไม่ได้อีก คือคีย์ใช้งานไม่ได้แล้ว (4401) หรือคีย์ถึงเพดานการใช้จ่าย (4403) ทุก context ที่เปิดอยู่จะรายงาน closed พร้อมโค้ดนั้นก่อน
ก่อนรีสตาร์ต เซิร์ฟเวอร์ส่ง draining พร้อมระยะผ่อนผันเป็นวินาที ให้เปิด WebSocket เส้นใหม่ เริ่มสายใหม่บนเส้นนั้น แล้วย้ายสายที่ยังเปิดอยู่ไปเมื่อถึงจังหวะจบรอบพูดถัดไป
ค่าบริการและลิมิต#
context คิดค่าบริการเหมือนการเชื่อมต่อแยกหนึ่งเส้น ในอัตราของ เสียงพูดสด และ การถอดเสียงเรียลไทม์ ขั้นต่ำต่อคำขอคิดครั้งเดียวต่อ context และใบแจ้ง charged กับยอดรวมใน done นับเฉพาะสายนั้น
context ที่เปิดอยู่แต่ละตัวใช้ สล็อตการเชื่อมต่อพร้อมกัน ของแพ็กเกจหนึ่งสล็อตสำหรับผลิตภัณฑ์นั้น และนับรวมกับการเชื่อมต่อเดี่ยว WebSocket ไม่มีลิมิตจำนวน context ของตัวเอง เสียงพูดแต่ละช่วงใช้หนึ่งคำขอของ rate limit รายนาที และ context ถอดเสียงใช้หนึ่งคำขอตอน start
ระบบอ่านแพ็กเกจของบัญชีและเพดานการใช้จ่ายของคีย์ใหม่ระหว่างที่ WebSocket ยังเปิดอยู่ เมื่ออัปเกรดแพ็กเกจ context ถัดไปจะได้สิทธิ์ใหม่ทันทีโดยไม่ต้องเชื่อมต่อใหม่
เมื่อไรการเชื่อมต่อเดี่ยวเรียบง่ายกว่า#
WebSocket แบบ multiplex รับ API key ทางเฮดเดอร์ของคำขอ จึงเหมาะกับฝั่งเซิร์ฟเวอร์ของคุณ แอปบนเบราว์เซอร์ หรือผลิตภัณฑ์ที่คุยทีละบทสนทนา ใช้ WS /v1/tts/live และ WS /v1/stt/live จะง่ายกว่า บัญชีเดียวใช้ทั้งสองแบบคู่กันได้
คำถามที่พบบ่อย#
สายบน WebSocket แบบ multiplex แพงกว่าหรือไม่#
ไม่แพงกว่า context คิดค่าบริการเหมือนการเชื่อมต่อแยกหนึ่งเส้นทุกประการ ทั้งอัตราและขั้นต่ำต่อคำขอที่คิดครั้งเดียวต่อสาย
WebSocket หนึ่งเส้นรับได้กี่สาย#
ได้เท่าที่จำนวนการเชื่อมต่อพร้อมกันของแพ็กเกจอนุญาตสำหรับผลิตภัณฑ์นั้น WebSocket ไม่มีเพดานของตัวเอง และ context ถือสล็อตไว้ตั้งแต่ start จนถึง closed
WebSocket เส้นเดียวรับทั้งเสียงพูดและถอดเสียงได้หรือไม่#
WebSocket หนึ่งเส้นรับผลิตภัณฑ์เดียว สายที่ทั้งพูดและฟังจะมี context บน WS /v1/tts/multi หนึ่งตัว และบน WS /v1/stt/multi อีกหนึ่งตัว โดยใช้ context_id เดียวกันได้
สายที่เปิดอยู่จะเป็นอย่างไรเมื่อมีการ deploy#
เซิร์ฟเวอร์ส่ง draining พร้อมระยะผ่อนผันก่อน และสายที่เปิดอยู่ทำงานต่อได้ตลอดช่วงนั้น สายที่ยังเปิดอยู่เมื่อหมดเวลาจะปิดด้วย 1001 เสียงพูดช่วงที่กำลังสร้างจะเสร็จหรือได้รับเงินคืน ส่วนการถอดเสียงคิดค่าบริการตามเสียงที่รับไปแล้ว
ใช้ context id ซ้ำได้หรือไม่#
ได้ เมื่อได้รับอีเวนต์ closed ของ id นั้นแล้ว เฟรมที่มาช้าสำหรับ id ที่ไม่ได้เปิดอยู่จะได้รับข้อผิดพลาดกลับไปและไม่ปิดอะไร จึงไม่มีทางทำให้สายใหม่ที่ใช้ id เดิมจบลง
ขั้นต่อไป#
- อ่าน หลายเซสชันบน WebSocket เดียว สำหรับเฮดเดอร์ไบนารี โค้ดปิด และการรีสตาร์ต พร้อมตัวอย่าง client ภาษา TypeScript และ Python
- อ่าน บทความเปิดตัวการถอดเสียงเรียลไทม์ เพื่อดูว่า context หาจุดจบของแต่ละรอบพูดอย่างไร
สัญญาของ API อยู่ในเอกสารประกอบ