ElevenLabs가 텍스트 음성 변환 모델 Eleven v4와 Eleven v4 Turbo를 출시했다. 이번 업데이트는 음성 표현력, 화자 정체성의 일관성, 거의 즉각적인 응답이 필요한 애플리케이션 지원에 초점을 맞춘다. 두 모델은 ElevenAgents, ElevenCreative, ElevenAPI를 통해 제공되며 무료 계정에서도 사용해 볼 수 있다.
톤과 맥락에 대한 더 큰 제어
회사에 따르면 Eleven v4는 음성을 생성할 때 맥락, 말투, 말하는 속도, 감정, 성격을 해석할 수 있는 새로운 아키텍처를 기반으로 한다. 이는 긴 텍스트에서 화자의 정체성을 유지하면서 드라마 대화, 긴급한 대화, 코미디, 일상 대화 등 장면의 성격에 따라 전달 방식을 바꾸는 것을 목표로 한다.
또한 모델은 대화 내 앞선 문장을 활용해 뒤따르는 문장의 말투를 조정할 수 있다. ElevenLabs는 Eleven v3와 함께 선보였던 음성 태그 시스템도 확장했다. 이제 요청에 여러 지시를 결합하고 특정 순서로 적용할 수 있다. 지시의 예로는 웃음, 분노, 특정 억양, 가벼운 비, 전화기 진동 등이 있다. 회사는 특정 단어와 이름의 발음을 돕기 위해 국제음성기호(IPA) 지원도 개선했다고 밝혔다.
음성 복제와 언어 지원
ElevenLabs에 따르면 Eleven v4는 길이가 10초를 넘지 않는 녹음으로 음성을 복제할 수 있다. 또한 회사는 Eleven v3에서 지원하지 않았던 Professional Voice Clone 기능을 새 모델과 함께 다시 제공한다.
Eleven v4와 Eleven v4 Turbo는 90개 이상의 언어를 지원하며, Eleven v3의 약 70개 언어에서 확대됐다. 회사는 일본어, 브라질 포르투갈어, 만다린, 광둥어에서 특히 개선되었으며, 음성 복제본이 다른 언어를 더욱 자연스러운 현지 억양으로 말할 수 있다고 자체 평가에 근거해 설명했다.
v4 Turbo로 실제로 달라지는 점은?
Eleven v4 Turbo는 음성 인공지능 에이전트, 콜센터, 응답 시간의 직접적인 영향을 받는 실시간 애플리케이션을 위해 설계됐다. 이 모델은 양방향 스트리밍을 지원해 문장 전체의 생성이 완료되기 전에 음성 생성을 시작할 수 있다.
회사 테스트에 따르면 음성 출력 시작까지 걸리는 시간의 중간값은 약 150밀리초이며, 추론 시간의 중간값은 약 100밀리초다. 이러한 수치는 ElevenLabs가 실시한 테스트 결과이며 독립적인 측정값은 아니다. 회사는 모델이 대규모 언어 모델의 응답이 완성되기 전에 발화를 시작할 수 있고, 통화 중 이견, 다른 상담원으로의 전환, 발신자 대기 전환과 같은 시나리오도 음성으로 처리한다고 설명했다.
제공 방식과 공개된 제한 사항
두 모델은 ElevenAgents, ElevenCreative, ElevenAPI를 통해 사용할 수 있으며 무료 계정으로 시험해 볼 수 있다. 무료 요금제에는 월 10,000크레딧이 포함되고, 유료 요금제는 월 6달러부터 시작한다. Eleven v4는 한 번의 작업에서 최대 10,000자까지 생성할 수 있으며, 오디오 클립을 연결하고 오디오북과 팟캐스트 같은 긴 콘텐츠에서 리듬과 말투를 유지할 수 있는 도구를 제공한다.
이번 발표의 중요성은 다국어 표현력 개선과 지연 시간이 짧은 응답을 위한 별도 경로를 결합했다는 데 있지만, 실제 결과의 품질은 언어, 텍스트의 성격, 사용 환경에서의 응답 시간과 관련이 있을 뿐 아니라 음성 복제가 의도한 용도에 적합한지 확인할 필요성에도 영향을 받는다. 출처는 두 모델을 경쟁 모델과 직접 비교하는 독립적인 테스트를 제시하지 않았다.