API LLM cho Voice Cloning, giải thích cho nhà phát triển

Hai phần của tạo giọng nói

Các ứng dụng tạo giọng nói hiện đại thường dựa trên quy trình hai giai đoạn. Giai đoạn đầu là tạo văn bản, nơi LLM tạo kịch bản, hội thoại hoặc tường thuật sẽ được nói. Giai đoạn thứ hai là tổng hợp âm thanh, nơi công cụ Chuyển văn bản thành giọng nói (TTS) chuyển đổi văn bản đó thành âm thanh bằng hồ sơ giọng nói đã sao chép.

Hầu hết các nhà phát triển tập trung mạnh vào phía âm thanh, tối ưu hóa độ tương đồng giọng nói và độ trễ. Tuy nhiên, chất lượng âm thanh cuối cùng phụ thuộc trực tiếp vào đầu vào văn bản. Nếu văn bản chứa lỗi, cách diễn đạt lúng túng hoặc bị cắt do bộ lọc nội dung, đầu ra âm thanh sẽ bị ảnh hưởng bất kể công cụ TTS của bạn tiên tiến đến đâu.

Lớp văn bản đóng vai trò là bộ não của hoạt động. Nó xử lý viết prompt, tạo kịch bản và xử lý sau. Bằng cách coi tạo văn bản là một tích hợp API riêng biệt, bạn có thể thay đổi mô hình hoặc cải thiện kỹ thuật prompt mà không cần chạm vào cơ sở hạ tầng âm thanh của bạn. Sự tách biệt này cho phép xử lý lỗi mạnh mẽ hơn và kiểm soát tốt hơn nội dung đạt đến microphone.

Tại sao API tiêu chuẩn thất bại với quy trình giọng nói

Các API LLM tiêu chuẩn được thiết kế cho người dùng tiêu dùng chung, điều này thường có nghĩa là chúng áp dụng các bộ lọc an toàn nghiêm ngặt. Các bộ lọc này hữu ích cho chatbot nhưng gây vấn đề cho quy trình tạo giọng nói. Nếu giọng nói sao chép của bạn được sử dụng cho nội dung người trưởng thành, hư sáng hoặc các chủ đề gây tranh cãi, các API tiêu chuẩn có thể từ chối tạo văn bản hoặc thay đổi nó một cách không mong đợi.

Ví dụ, một API tiêu chuẩn có thể từ chối tạo kịch bản chứa từ ngữ thô tục nhẹ hoặc chủ đề trưởng thành, ngay cả khi những yếu tố đó rất quan trọng cho giọng nói của nhân vật. Điều này dẫn đến các đoạn âm thanh bị hỏng hoặc tông giọng không nhất quán. Ngoài ra, các API tiêu chuẩn thường cắt ngắn phản hồi sớm để tiết kiệm chi phí, điều này có thể cắt ngang một câu giữa chừng, dẫn đến các chuyển đổi âm thanh khó chịu.

Khi xây dựng một API tạo giọng nói, bạn cần một nhà cung cấp văn bản tôn trọng ranh giới nội dung của bạn. Điều này có nghĩa là một mô hình không kiểm duyệt trả lời trực tiếp mà không có sự đạo đức hóa hoặc lọc không cần thiết. API văn bản nên đóng vai trò là một đường dẫn trong suốt, cung cấp chính xác những gì bạn yêu cầu, cho phép mô hình giọng nói của bạn xử lý việc phát âm mà không bị can thiệp bởi các từ chối ở lớp văn bản.

Chi phí của bộ lọc nội dung

Bộ lọc nội dung giới thiệu chi phí ẩn trong quy trình tạo giọng nói. Khi một bộ lọc kích hoạt, API có thể trả về lỗi, phản hồi một phần hoặc kịch bản đã sửa đổi. Ứng dụng của bạn sau đó phải thử lại yêu cầu, tiêu thụ nhiều token hơn hoặc xử lý lỗi một cách duyên dáng. Điều này làm tăng độ trễ và giảm độ tin cậy.

Hơn nữa, bộ lọc có thể thay đổi ý nghĩa của văn bản. Một bộ lọc an toàn có thể thay đổi "giết" thành "loại bỏ" hoặc làm mềm một tông giọng gay gắt, thay đổi cách truyền đạt cảm xúc của giọng nói. Đối với tạo giọng nói, tông giọng là tất cả. Nếu văn bản không khớp với cảm xúc dự định, đầu ra âm thanh sẽ cảm thấy bị tách rời.

Sử dụng API LLM không kiểm duyệt loại bỏ những bất ngờ này. Bạn nhận được văn bản thô như đã yêu cầu, đảm bảo rằng mô hình giọng nói nhận được chính xác nội dung bạn đã lên kế hoạch. Sự nhất quán này rất quan trọng để duy trì tính toàn vẹn của giọng nói sao chép trên các loại nội dung khác nhau, từ hội thoại thông thường đến độc thoại kịch tính.

Văn bản không kiểm duyệt cho giọng nói tốt hơn

Một API văn bản không kiểm duyệt không phải là loại bỏ mọi quy tắc; đó là loại bỏ các hạn chế tùy tiện không ảnh hưởng đến chất lượng giọng nói. API của chúng tôi tại https://api.xtts.cc/v1 cung cấp một mô hình ngôn ngữ lớn không kiểm duyệt được thiết kế để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Hạn chế cứng duy nhất là từ chối nội dung tình dục liên quan đến trẻ vị thành niên, đây là yêu cầu pháp lý tiêu chuẩn.

Cách tiếp cận này đảm bảo rằng quy trình tạo giọng nói của bạn có thể xử lý bất kỳ kịch bản nào bạn cung cấp. Cho dù bạn đang tạo hội thoại cho trò chơi điện tử, podcast hay sách nói, API văn bản sẽ cung cấp nội dung như dự định. Mô hình là trọng số mở và chạy trên máy chủ của chúng tôi, được tinh chỉnh để cung cấp đầu ra văn bản nhất quán và chất lượng cao.

Bằng cách sử dụng mô hình không kiểm duyệt, bạn có toàn quyền kiểm soát nội dung của mình. Bạn không phải lo lắng liệu một từ hoặc cụm từ cụ thể có kích hoạt bộ lọc hay không. Sự dự đoán này cho phép bạn xây dựng các ứng dụng giọng nói mạnh mẽ hơn có thể xử lý nhiều loại nội dung hơn mà không bị hỏng.

Yêu cầu kỹ thuật cho đầu vào văn bản

Khi tích hợp API văn bản vào quy trình tạo giọng nói, bạn cần xem xét kích thước cửa sổ ngữ cảnh và giới hạn token. API của chúng tôi hỗ trợ cửa sổ ngữ cảnh 100,000 token, cho phép các kịch bản dài hoặc lịch sử prompt phức tạp. Không có giới hạn đầu ra riêng biệt cho mỗi yêu cầu, điều này đủ cho hầu hết các nhiệm vụ tạo giọng nói.

API tương thích OpenAI, có nghĩa là bạn có thể sử dụng các SDK và thư viện client chính thức với những thay đổi tối thiểu. Chỉ cần cập nhật base URL thành https://api.xtts.cc/v1 và cung cấp khóa API của bạn. Sự tương thích này cho phép bạn sử dụng các công cụ và quy trình làm việc quen thuộc, giảm đường cong học tập cho các nhà phát triển.

Chúng tôi tính $0,15 cho 1M token đầu vào và $0,50 cho 1M token đầu ra. Tín dụng là trả trước và không bao giờ hết hạn. Lỗi và từ chối đều miễn phí, vì vậy bạn chỉ trả tiền cho văn bản thực sự được tạo ra. Mô hình giá cả này minh bạch và dự đoán được, giúp dễ dàng ước tính chi phí cho ứng dụng tạo giọng nói của bạn.

Truyền phát văn bản cho TTS thời gian thực

Đối với các ứng dụng giọng nói thời gian thực, truyền phát văn bản là rất quan trọng. API của chúng tôi hỗ trợ truyền phát qua Sự kiện được gửi bởi Máy chủ (SSE), cho phép bạn nhận token văn bản khi chúng được tạo. Điều này giảm độ trễ và cung cấp trải nghiệm người dùng mượt mà hơn.

Truyền phát cũng cho phép bạn bắt đầu tổng hợp âm thanh trong khi văn bản vẫn đang được tạo. Xử lý song song này có thể giảm đáng kể tổng thời gian để tạo các đoạn âm thanh. Chunk cuối cùng của luồng bao gồm thông tin sử dụng token, vì vậy bạn có thể theo dõi chi phí theo thời gian thực.

Để triển khai truyền phát (streaming), hãy sử dụng tham số stream trong các yêu cầu API của bạn. Các SDK sẽ xử lý việc phân tích sự kiện, chuyển các token đến ứng dụng của bạn khi chúng đến. Tính năng này rất quan trọng đối với các ứng dụng nơi độ trễ quan trọng, chẳng hạn như trợ lý giọng nói tương tác hoặc tường thuật trực tiếp.

Gọi hàm để tạo kịch bản

Gọi hàm là một tính năng mạnh mẽ để tự động hóa tạo kịch bản và xử lý sau. API của chúng tôi hỗ trợ gọi hàm, cho phép bạn xác định các nhiệm vụ cụ thể cho mô hình, chẳng hạn như định dạng văn bản, trích xuất thực thể hoặc dịch kịch bản.

Ví dụ, bạn có thể xác định một hàm để làm sạch văn bản cho TTS, loại bỏ dấu câu có thể gây ra các khoảng dừng khó chịu. Mô hình sau đó sẽ gọi hàm này và trả về văn bản đã định dạng. Điều này đảm bảo rằng văn bản được tối ưu hóa cho tổng hợp giọng nói, cải thiện tính tự nhiên của đầu ra âm thanh.

Gọi hàm cũng cho phép các đầu ra có cấu trúc hơn. Bạn có thể yêu cầu mô hình trả về JSON, điều này có thể được phân tích dễ dàng bởi ứng dụng của bạn. Điều này hữu ích để tạo siêu dữ liệu, chẳng hạn như thẻ cảm xúc hoặc gợi ý ngữ âm, có thể được chuyển đến công cụ TTS.

Chọn nhà cung cấp văn bản phù hợp

Khi chọn một nhà cung cấp văn bản cho API tạo giọng nói của bạn, hãy xem xét các yếu tố sau:

• Mô hình không kiểm duyệt: Đảm bảo mô hình không từ chối nội dung dựa trên các bộ lọc an toàn phổ biến.
• Tương thích OpenAI: Chọn một API hoạt động với các SDK và công cụ hiện có.
• Cửa sổ ngữ cảnh: Một cửa sổ ngữ cảnh lớn cho phép các kịch bản dài hơn và các prompt phức tạp hơn.
• Giá cả: Tìm kiếm mức giá minh bạch, dựa trên mức sử dụng mà không có phí ẩn.

API của chúng tôi đáp ứng tất cả các tiêu chí này. Đó là một mô hình không kiểm duyệt với cửa sổ ngữ cảnh 100.000 token, tương thích với các SDK OpenAI, và có giá $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra. Tín dụng được nạp bằng tiền điện tử (USDT trên TRC20, USDC trên Base), không cần thẻ cho kỳ dùng thử.

Kết luận: Chất lượng văn bản xác định chất lượng giọng nói

Chất lượng của ứng dụng sao chép giọng nói của bạn cuối cùng được xác định bởi chất lượng của văn bản đầu vào. Một API văn bản mạnh mẽ đảm bảo các kịch bản của bạn chính xác, đầy đủ và không có các hạn chế tùy ý. Bằng cách chọn một API không kiểm duyệt, tương thích với OpenAI, bạn có thể xây dựng các đường dẫn giọng nói đáng tin cậy, có thể mở rộng và trung thực với nội dung của bạn.

Bắt đầu bằng cách tích hợp API của chúng tôi vào đường dẫn của bạn. Tạo kịch bản, định dạng văn bản và chuyển đầu ra sang công cụ TTS của bạn. Bạn sẽ nhận thấy sự cải thiện đáng kể về tính nhất quán và độ tự nhiên của các giọng nói sao chép của bạn. Lớp văn bản là nền tảng cho API sao chép giọng nói của bạn, và việc đầu tư vào nhà cung cấp phù hợp sẽ mang lại lợi ích về chất lượng âm thanh cuối cùng của bạn.

Hướng dẫn khác

• API TTS Python: Chuẩn bị văn bản để tạo giọng nói với SDK
• API TTS miễn phí: $0,50 dùng cho những gì (chỉ văn bản)
• Demo API TTS: Ví dụ yêu cầu và phản hồi thời gian thực