LLM API สำหรับ Voice Cloning อธิบายสำหรับนักพัฒนา

สองส่วนของการสร้างเสียง

แอปพลิเคชันการสร้างเสียงสมัยใหม่มักพึ่งพา Voice Pipeline สองขั้นตอน ขั้นแรกคือการสร้างข้อความ โดย LLM สร้างสคริปต์ บทสนทนา หรือเรื่องราวที่จะพูด ขั้นตอนที่สองคือการสังเคราะห์เสียง โดยเครื่องแปลงข้อความเป็นเสียง (TTS) แปลงข้อความนั้นเป็นเสียงโดยใช้โปรไฟล์เสียงที่สร้างเลียนแบบ

นักพัฒนาส่วนใหญ่เน้นหนักไปที่ด้านเสียง ปรับปรุงความคล้ายคลึงของเสียงและความหน่วง อย่างไรก็ตาม คุณภาพของเสียงสุดท้ายขึ้นอยู่กับข้อความนำเข้าโดยตรง หากข้อความมีข้อผิดพลาด วลีแปลกๆ หรือถูกตัดออกเนื่องจากตัวกรองเนื้อหา ผลลัพธ์เสียงจะแย่ลงไม่ว่าเครื่อง TTS ของคุณจะทันสมัยเพียงใด

ชั้นข้อความทำหน้าที่เป็นสมองของการดำเนินงาน จัดการการเขียนพรอมต์ การสร้างสคริปต์ และการประมวลผลหลังการประมวลผล โดยการจัดการการสร้างข้อความเป็นการผสาน API แยกต่างหาก คุณสามารถเปลี่ยนโมเดลหรือปรับปรุงวิศวกรรมพรอมต์ได้โดยไม่ต้องแตะโครงสร้างพื้นฐานเสียงของคุณ การแยกส่วนนี้ช่วยให้จัดการข้อผิดพลาดได้ robust ขึ้นและควบคุมเนื้อหาที่ไปถึงไมโครโฟนได้ดีขึ้น

ทำไม API มาตรฐานจึงล้มเหลวใน Voice Pipeline

API LLM มาตรฐานได้รับการออกแบบสำหรับการใช้งานผู้บริโภคทั่วไป ซึ่งมักหมายถึงการใช้ตัวกรองความปลอดภัยที่เข้มงวด ตัวกรองเหล่านี้มีประโยชน์สำหรับแชทบอทแต่เป็นปัญหาสำหรับ Voice Pipeline หากเสียงที่สร้างเลียนแบบของคุณใช้สำหรับเนื้อหาผู้ใหญ่ นวนิยายสร้างสรรค์ หรือหัวข้อที่ถกเถียงได้ API มาตรฐานอาจปฏิเสธที่จะสร้างข้อความหรือเปลี่ยนแปลงมันอย่างคาดไม่ถึง

ตัวอย่างเช่น API มาตรฐานอาจปฏิเสธที่จะสร้างสคริปต์ที่มีคำหยาบคายระดับเบาหรือธีมผู้ใหญ่ แม้ว่าจะจำเป็นสำหรับเสียงของตัวละครก็ตาม สิ่งนี้ส่งผลให้เกิดคลิปเสียงที่ขาดหายหรือโทนเสียงที่ไม่สม่ำเสมอ นอกจากนี้ API มาตรฐานมักตัดการตอบสนองก่อนกำหนดเพื่อประหยัดต้นทุน ซึ่งสามารถตัดประโยคกลางความคิด นำไปสู่การเปลี่ยนผ่านเสียงที่แปลกประหลาด

เมื่อสร้าง API สร้างเสียง คุณต้องการผู้ให้บริการข้อความที่เคารพขอบเขตเนื้อหาของคุณ ซึ่งหมายถึงโมเดลแบบไม่เซ็นเซอร์ที่ตอบตรงไปตรงมาโดยไม่มีการเทศนาหรือกรองที่ไม่จำเป็น API ข้อความควรทำหน้าที่เป็นทางผ่านที่โปร่งใส ส่งมอบสิ่งที่คุณต้องการอย่างแม่นยำ เพื่อให้โมเดลเสียงของคุณจัดการการออกเสียงได้โดยไม่มีการรบกวนจากการปฏิเสธชั้นข้อความ

ต้นทุนของตัวกรองเนื้อหา

ตัวกรองเนื้อหานำต้นทุนที่ซ่อนอยู่ใน Voice Pipeline เมื่อตัวกรองถูกเรียกใช้ API อาจส่งข้อผิดพลาด การตอบสนองบางส่วน หรือสคริปต์ที่แก้ไข แอปพลิเคชันของคุณต้องลองคำขอใหม่ ใช้โทเคนมากขึ้น หรือจัดการข้อผิดพลาดอย่างสง่างาม สิ่งนี้เพิ่มความหน่วงและความน่าเชื่อถือลดลง

นอกจากนี้ ตัวกรองสามารถเปลี่ยนความหมายของข้อความ ตัวกรองความปลอดภัยอาจเปลี่ยน "ฆ่า" เป็น "กำจัด" หรือทำให้โทนเสียงที่รุนแรงอ่อนลง ซึ่งเปลี่ยนการส่งอารมณ์ของเสียง สำหรับการสร้างเสียง โทนเสียงคือทุกสิ่ง หากข้อความไม่ตรงกับอารมณ์ที่ตั้งใจ ผลลัพธ์เสียงจะรู้สึกขาดตอน

การใช้ API LLM แบบไม่เซ็นเซอร์ขจัดความประหลาดใจเหล่านี้ คุณได้รับข้อความดิบตามที่ร้องขอ เพื่อให้โมเดลเสียงได้รับเนื้อหาที่ถูกต้องตามที่คุณวางแผนไว้ ความสม่ำเสมอนี้สำคัญมากสำหรับการรักษาความสมบูรณ์ของเสียงที่สร้างเลียนแบบข้ามประเภทเนื้อหาต่างๆ ตั้งแต่การสนทนาทั่วไปไปจนถึงบทพูดละคร

ข้อความแบบไม่เซ็นเซอร์สำหรับเสียงที่ดีกว่า

API ข้อความแบบไม่เซ็นเซอร์ไม่ได้เกี่ยวกับการลบกฎทั้งหมด แต่เกี่ยวกับการลบข้อจำกัดแบบสุ่มที่ไม่ส่งผลต่อคุณภาพเสียง API ของเราที่ https://api.xtts.cc/v1 ให้บริการโมเดลภาษาขนาดใหญ่แบบไม่เซ็นเซอร์ที่ออกแบบมาเพื่อตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ขีดจำกัดเดียวคือ การปฏิเสธเนื้อหาทางเพศที่เกี่ยวข้องกับเด็ก ซึ่งเป็นข้อกำหนดทางกฎหมายมาตรฐาน

แนวทางนี้ทำให้ Voice Pipeline ของคุณสามารถจัดการสคริปต์ที่คุณให้มาได้ ไม่ว่าคุณจะสร้างบทสนทนาสำหรับวิดีโอเกม พอดแคสต์ หรือหนังสือเสียง API ข้อความจะส่งมอบเนื้อหาตามที่ตั้งใจ โมเดลเป็น open-weight model และทำงานบนเซิร์ฟเวอร์ของเราเอง ปรับแต่งเพื่อให้ได้ข้อความคุณภาพสูงที่สม่ำเสมอ

การใช้โมเดลแบบไม่เซ็นเซอร์ทำให้คุณควบคุมเนื้อหาได้อย่างเต็มที่ คุณไม่ต้องสงสัยว่าคำหรือวลีเฉพาะจะกระตุ้นตัวกรองหรือไม่ ความสามารถในการคาดเดานี้ช่วยให้คุณสร้างแอปพลิเคชันเสียงที่แข็งแกร่งขึ้นซึ่งสามารถจัดการประเภทเนื้อหาที่หลากหลายมากขึ้นโดยไม่หยุดทำงาน

ข้อกำหนดทางเทคนิคสำหรับข้อความนำเข้า

เมื่อผสาน API ข้อความเข้ากับสายการผลิตเสียงโคลน คุณต้องพิจารณาขนาดหน้าต่างบริบทและขีดจำกัดโทเคน API ของเรารองรับหน้าต่างบริบท 100,000 โทเคน ทำให้สามารถรองรับสคริปต์ยาวหรือประวัติพรอมต์ที่ซับซ้อนได้ ไม่มีขีดจำกัดผลลัพธ์แยกต่างหากต่อคำขอ ซึ่งเพียงพอสำหรับงานสร้างเสียงส่วนใหญ่

API เข้ากันได้กับ OpenAI หมายความว่าคุณสามารถใช้ SDK ทางการและไลบรารีไคลเอนต์ได้ด้วยการเปลี่ยนแปลงเล็กน้อย เพียงอัปเดต base URL เป็น https://api.xtts.cc/v1 และระบุคีย์ API ของคุณ ความเข้ากันได้นี้ทำให้คุณสามารถใช้เครื่องมือและเวิร์กโฟลว์ที่คุ้นเคย ลดเส้นโค้งการเรียนรู้สำหรับนักพัฒนา

เราคิดเงิน $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens เครดิตแบบเติมเงินล่วงหน้าและไม่หมดอายุ ข้อผิดพลาดและการปฏิเสธคิดเงินฟรี ดังนั้นคุณจึงจ่ายเฉพาะข้อความที่สร้างจริง ๆ โมเดลการคิดเงินนี้โปร่งใสและคาดเดาได้ ทำให้ประมาณการต้นทุนสำหรับแอปพลิเคชันโคลนเสียงของคุณได้ง่าย

ข้อความสตรีมมิงสำหรับ TTS แบบเรียลไทม์

สำหรับแอปพลิเคชันเสียงแบบเรียลไทม์ ข้อความสตรีมมิงเป็นสิ่งจำเป็น API ของเรารองรับสตรีมมิงผ่าน Server-Sent Events (SSE) ทำให้คุณสามารถรับโทเคนข้อความขณะที่มันถูกสร้าง สิ่งนี้ลดความหน่วงและให้ประสบการณ์ผู้ใช้ที่ราบรื่นขึ้น

สตรีมมิงยังช่วยให้คุณเริ่มสังเคราะห์เสียงขณะที่ข้อความยังถูกสร้างอยู่ การประมวลผลแบบขนานนี้สามารถลดเวลาทั้งหมดในการผลิตคลิปเสียงได้อย่างมีนัยสำคัญ ชิ้นสุดท้ายของสตรีมรวมถึงข้อมูลการใช้งานโทเคน ดังนั้นคุณสามารถติดตามต้นทุนแบบเรียลไทม์

เพื่อใช้งานสตรีมมิง ใช้พารามิเตอร์ stream ในคำขอ API ของคุณ SDK จะจัดการการแยกวิเคราะห์เหตุการณ์ ส่งโทเคนไปยังแอปพลิเคชันของคุณเมื่อมาถึง คุณสมบัตินี้สำคัญมากสำหรับแอปพลิเคชันที่ความหน่วงมีความสำคัญ เช่น ผู้ช่วยเสียงแบบโต้ตอบหรือการบรรยายสด

Function Calling สำหรับการสร้างสคริปต์

Function calling เป็นคุณลักษณะที่มีประสิทธิภาพสำหรับการอัตโนมัติการสร้างสคริปต์และการประมวลผลหลัง API ของเรารองรับ function calling ทำให้คุณสามารถกำหนดงานเฉพาะสำหรับโมเดล เช่น การจัดรูปแบบข้อความ การแยกเอนทิตี หรือการแปลสคริปต์

ตัวอย่างเช่น คุณสามารถกำหนดฟังก์ชันเพื่อทำความสะอาดข้อความสำหรับ TTS ลบเครื่องหมายวรรคตอนที่อาจทำให้เกิดการหยุดชั่วคราวที่แปลกประหลาด โมเดลจะเรียกฟังก์ชันนี้และส่งคืนข้อความที่จัดรูปแบบแล้ว สิ่งนี้ทำให้ข้อความได้รับการปรับให้เหมาะสมสำหรับการสังเคราะห์เสียง ปรับปรุงความธรรมชาติของผลลัพธ์เสียง

Function calling ยังอนุญาตให้ได้รับผลลัพธ์ที่มีโครงสร้างมากขึ้น คุณสามารถขอให้โมเดลส่งคืน JSON ซึ่งสามารถแยกวิเคราะห์ได้ง่ายโดยแอปพลิเคชันของคุณ สิ่งนี้มีประโยชน์สำหรับการสร้าง metadata เช่น แท็กอารมณ์หรือคำใบ้เสียงวรรณยุกต์ที่สามารถส่งไปยังเครื่อง TTS ได้

การเลือกผู้ให้บริการข้อความที่เหมาะสม

เมื่อเลือกผู้ให้บริการข้อความสำหรับ API สร้างเสียงของคุณ ให้พิจารณาปัจจัยต่อไปนี้:

• โมเดลไม่เซ็นเซอร์: ตรวจสอบให้แน่ใจว่าโมเดลไม่ปฏิเสธเนื้อหาตามตัวกรองความปลอดภัยทั่วไป
• ความเข้ากันได้กับ OpenAI: เลือก API ที่ทำงานกับ SDK และเครื่องมือที่มีอยู่
• หน้าต่างบริบท: หน้าต่างบริบทขนาดใหญ่ช่วยให้สามารถรองรับสคริปต์ที่ยาวขึ้นและพรอมต์ที่ซับซ้อนมากขึ้น
• ราคา: มองหาการกำหนดราคาตามการใช้งานที่โปร่งใสโดยไม่มีค่าธรรมเนียมที่ซ่อนอยู่

API ของเราตรงตามเกณฑ์ทั้งหมดนี้ เป็นโมเดลแบบไม่เซ็นเซอร์ที่มีหน้าต่างบริบท 100,000 โทเคน เข้ากันได้กับ SDK ของ OpenAI และคิดเงิน $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens เครดิตเติมเงินด้วยคริปโต (USDT บน TRC20, USDC บน Base) ไม่ต้องใช้บัตรสำหรับการทดลอง

สรุป: คุณภาพของข้อความกำหนดคุณภาพของเสียง

คุณภาพของแอปพลิเคชันโคลนเสียงของคุณถูกกำหนดโดยคุณภาพของ input ข้อความในที่สุด API ข้อความที่ robust รับประกันว่าสคริปต์ของคุณถูกต้อง สมบูรณ์ และปราศจากข้อจำกัดแบบสุ่ม โดยการเลือก API ที่เข้ากันได้กับ OpenAI แบบไม่เซ็นเซอร์ คุณสามารถสร้าง voice pipelines ที่เชื่อถือได้ ขยายขนาดได้ และสอดคล้องกับเนื้อหาของคุณ

เริ่มต้นโดยการผสาน API ของเราเข้ากับ pipeline ของคุณ สร้างสคริปต์ จัดรูปแบบข้อความ และส่ง output ไปยัง TTS engine ของคุณ คุณจะสังเกตเห็นการปรับปรุงอย่างมีนัยสำคัญในความสม่ำเสมอและความธรรมชาติของเสียงโคลนของคุณ ชั้นข้อความเป็นพื้นฐานของ API โคลนเสียงของคุณ และการลงทุนกับผู้ให้บริการที่เหมาะสมจะคุ้มค่ากับคุณภาพของเสียงสุดท้ายของคุณ

คู่มือเพิ่มเติม

• TTS API Python: เตรียมข้อความสำหรับเสียงด้วย SDK
• TTS API ฟรี: สิ่งที่เครดิตทดลอง $0.50 ครอบคลุม (เฉพาะข้อความ)
• การสาธิต API TTS: ตัวอย่างคำขอและการตอบกลับแบบสด