개발자를 위한 Voice Cloning용 LLM API 설명

Voice Cloning의 두 부분

현대적인 Voice Cloning 애플리케이션은 일반적으로 두 단계 파이프라인에 의존합니다. 첫 번째 단계는 텍스트 생성으로, LLM이 말할 스크립트, 대화 또는 내러티브를 생성합니다. 두 번째 단계는 오디오 합성으로, Text-to-Speech(TTS) 엔진이 복제된 음성 프로필을 사용하여 해당 텍스트를 오디오로 변환합니다.

대부분의 개발자는 오디오 측면에 집중하여 음성 유사도와 지연 시간을 최적화합니다. 그러나 최종 오디오의 품질은 텍스트 입력에 직접적으로 의존합니다. 텍스트에 오류가 있거나 어색한 표현이 있거나 콘텐츠 필터로 인해 잘린 경우, TTS 엔진이 얼마나 발전했든 상관없이 오디오 출력에 영향을 미칩니다.

텍스트 레이어는 작업의 두뇌 역할을 합니다. 프롬프트 작성, 스크립트 생성 및 사후 처리를 처리합니다. 텍스트 생성을 별도의 API 통합으로 처리하면 오디오 인프라를 건드리지 않고 모델을 교체하거나 프롬프트 엔지니어링을 개선할 수 있습니다. 이 분리된 구조는 더 견고한 오류 처리와 마이크에 도달할 콘텐츠에 대한 더 나은 제어를 가능하게 합니다.

표준 API가 Voice 파이프라인에서 실패하는 이유

표준 LLM API는 일반적인 소비자용으로 설계되었으며, 이는 종종 엄격한 안전 필터를 적용한다는 것을 의미합니다. 이러한 필터는 챗봇에는 유용하지만 Voice 파이프라인에는 문제가 됩니다. 복제된 음성이 성인 콘텐츠, 창의적인 픽션 또는 논쟁적 주제에 사용되는 경우 표준 API는 텍스트 생성을 거부하거나 예상치 못하게 변경할 수 있습니다.

예를 들어, 표준 API는 캐릭터의 음성에 필수적인 요소임에도 불구하고 경미한 욕설이나 성숙한 주제가 포함된 스크립트 생성을 거부할 수 있습니다. 이는 오디오 클립이 끊기거나 톤이 불일치하는 결과를 초래합니다. 또한 표준 API는 비용을 절약하기 위해 응답을 조기에 잘라버리는 경우가 많아 문장을 중간에 끊어 어색한 오디오 전환을 유발할 수 있습니다.

Voice Cloning API를 구축할 때는 콘텐츠 경계를 존중하는 텍스트 제공업체가 필요합니다. 이는 불필요한 도덕적 논평이나 필터링 없이 직접 답변하는 무검열 모델을 의미합니다. 텍스트 API는 투명한 통로처럼 작동하여 요청한 내용을 정확히 전달하고, 텍스트 레이어의 거부로 인한 간섭 없이 음성 모델이 발음 처리를 수행할 수 있도록 합니다.

콘텐츠 필터의 비용

콘텐츠 필터는 Voice 파이프라인에서 숨겨진 비용을 초래합니다. 필터가 트리거되면 API가 오류, 부분 응답 또는 수정된 스크립트를 반환할 수 있습니다. 애플리케이션은 요청을 다시 시도하거나 더 많은 토큰을 소비하거나 오류를 우아하게 처리해야 합니다. 이는 지연 시간을 증가시키고 신뢰성을 낮춥니다.

또한 필터는 텍스트의 의미를 변경할 수 있습니다. 안전 필터은 "kill"을 "eliminate"로 변경하거나 거친 톤을 부드럽게 하여 음성의 감정적 전달을 변경할 수 있습니다. Voice Cloning에서는 톤이 모든 것입니다. 텍스트가 의도된 감정과 일치하지 않으면 오디오 출력은 단절된 느낌을 줍니다.

무검열 LLM API를 사용하면 이러한 예외 상황을 제거할 수 있습니다. 요청한 대로 원본 텍스트를 얻어 음성 모델이 계획한 정확한 콘텐츠를 받도록 보장합니다. 이 일관성은 캐주얼한 대화부터 드라마틱한 독백에 이르기까지 다양한 유형의 콘텐츠에 걸쳐 복제된 음성의 무결성을 유지하는 데 중요합니다.

더 나은 음성을 위한 무검열 텍스트

무검열 텍스트 API는 모든 규칙을 제거하는 것이 아닙니다. 오디오 품질에 영향을 미치지 않는 임의적인 제한을 제거하는 것입니다. https://api.xtts.cc/v1의 API는 콘텐츠 거부 없이 합법적인 성인 사용에 답변하도록 설계된 무검열 대규모 언어 모델을 제공합니다. 유일한 하드 제한은 미성년자가 포함된 성 콘텐츠에 대한 거부이며, 이는 표준적인 법적 요구사항입니다.

이 접근 방식은 Voice 파이프라인이 제공하는 모든 스크립트를 처리할 수 있도록 보장합니다. 비디오 게임, 팟캐스트 또는 오디오북의 대화를 생성하든 상관없이 텍스트 API는 의도된 대로 콘텐츠를 제공합니다. 이 모델은 오픈 웨이트 모델이며 자체 서버에서 실행되며 일관되고 고품질의 텍스트 출력을 제공하도록 조정되었습니다.

무검열 모델을 사용하면 콘텐츠에 대한 완전한 제어를 얻습니다. 특정 단어나 구문이 필터를 트리거할지 걱정할 필요가 없습니다. 이러한 예측 가능성은 다양한 유형의 콘텐츠를 중단 없이 처리할 수 있는 더 견고한 Voice 애플리케이션을 구축할 수 있게 합니다.

텍스트 입력의 기술적 요구사항

텍스트 API를 음성 복제 파이프라인에 통합할 때는 컨텍스트 창 크기와 토큰 제한을 고려해야 합니다. 당사 API는 100,000 토큰의 컨텍스트 창을 지원하여 긴 스크립트나 복잡한 프롬프트 히스토리를 처리할 수 있습니다. 요청당 별도의 출력 제한이 없으며, 이는 대부분의 음성 생성 작업에 충분합니다.

API는 OpenAI 호환이므로 공식 SDK와 클라이언트 라이브러리를 최소한의 변경으로 사용할 수 있습니다. Base URL을 https://api.xtts.cc/v1로 업데이트하고 API 키를 제공하기만 하면 됩니다. 이 호환성은 익숙한 도구와 워크플로우를 사용할 수 있게 하여 개발자의 학습 곡선을 줄여줍니다.

저희는 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50을 청구합니다. 크레딧은 선불이며 만료되지 않습니다. 오류와 거부는 무료이므로 실제로 생성된 텍스트에 대해서만 비용을 지불합니다. 이 pricing model은 투명하고 예측 가능하여 voice cloning 애플리케이션의 비용을 쉽게 추정할 수 있습니다.

실시간 TTS를 위한 스트리밍 텍스트

실시간 Voice 애플리케이션에는 스트리밍 텍스트가 필수적입니다. 당사 API는 서버 전송 이벤트(SSE)를 통한 스트리밍을 지원하여 생성되는 텍스트 토큰을 받을 수 있습니다. 이는 지연 시간을 줄이고 더 매끄러운 사용자 경험을 제공합니다.

스트리밍은 텍스트가 생성되는 동안 오디오 합성을 시작할 수 있게 합니다. 이러한 병렬 처리는 오디오 클립을 생성하는 데 걸리는 총 시간을 크게 줄일 수 있습니다. 스트림의 마지막 청크에는 토큰 사용량 정보가 포함되어 있으므로 실시간으로 비용을 추적할 수 있습니다.

스트리밍을 구현하려면 API 요청에 stream 매개변수를 사용하세요. SDK는 이벤트 구문을 처리하여 토큰이 도착하는 대로 애플리케이션에 전달합니다. 이 기능은 지연 시간이 중요한 대화형 Voice 어시스턴트나 라이브 내레이션과 같은 애플리케이션에 중요합니다.

스크립트 생성을 위한 함수 호출

함수 호출은 스크립트 생성 및 사후 처리를 자동화하는 강력한 기능입니다. 당사 API는 함수 호출을 지원하여 텍스트 포맷팅, 엔티티 추출 또는 스크립트 번역과 같은 특정 작업을 모델에 정의할 수 있습니다.

예를 들어, TTS를 위해 텍스트를 정리하여 어색한 일시 정지를 유발할 수 있는 구두점을 제거하는 함수를 정의할 수 있습니다. 모델은 해당 함수를 호출하고 포맷팅된 텍스트를 반환합니다. 이는 텍스트가 오디오 합성에 최적화되도록 보장하여 오디오 출력의 자연스러움을 향상시킵니다.

함수 호출은 더 구조화된 출력을 가능하게 합니다. 모델이 JSON을 반환하도록 요청할 수 있으며, 이는 애플리케이션에서 쉽게 구문 분석할 수 있습니다. 이는 TTS 엔진에 전달할 수 있는 감정 태그 또는 음운론적 힌트와 같은 메타데이터 생성에 유용합니다.

올바른 텍스트 제공업체 선택

Voice Cloning API를 위한 텍스트 제공업체를 선택할 때 다음 요소를 고려하세요:

• 무검열 모델: 모델이 일반적인 안전 필터를 기반으로 콘텐츠를 거부하지 않도록 하십시오.
• OpenAI 호환성: 기존 SDK 및 도구와 작동하는 API를 선택하세요.
• 컨텍스트 창: 큰 컨텍스트 창은 더 긴 스크립트와 더 복잡한 프롬프트를 허용합니다.
• 가격: 숨겨진 수수료 없이 투명하고 사용량 기반의 가격 정책을 찾으세요.

저희 API는 이러한 모든 기준을 충족합니다. 100,000 토큰 컨텍스트 창을 가진 무검열 모델이며, OpenAI SDK와 호환되고 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50에 가격 책정됩니다. 크레딧은 USDT(TRC20) 또는 USDC(Base)로 암호화폐 충전으로 충전되며, 체험용에는 카드가 필요하지 않습니다.

결론: 텍스트 품질이 음성 품질을 결정합니다

보이스 클로닝 애플리케이션의 품질은 결국 텍스트 입력의 품질에 의해 결정됩니다. 강력한 텍스트 API는 스크립트가 정확하고 완전하며 임의의 제한이 없음을 보장합니다. 무검열이고 OpenAI 호환인 API를 선택하면 신뢰할 수 있고 확장 가능하며 콘텐츠에 충실한 보이스 파이프라인을 구축할 수 있습니다.

API를 파이프라인에 통합하는 것으로 시작하세요. 스크립트를 생성하고 텍스트를 서식 지정한 후 출력물을 TTS 엔진에 전달하세요. 복제된 음성의 일관성과 자연스러움이 크게 향상되는 것을 확인할 수 있을 것입니다. 텍스트 레이어는 보이스 클로닝 API의 기반이며, 적절한 제공업체에 투자하면 최종 오디오의 품질로 이어집니다.

더 많은 가이드

• TTS API Python: SDK를 사용하여 음성 생성용 텍스트 준비
• 무료 TTS API: $0.50 체험금으로 제공되는 범위 (텍스트 전용)(텍스트 전용)
• TTS API 데모: 실시간 요청 및 응답 예시