잭 도시(Jack Dorsey)가 소유한 블록(Block)은 연구소를 통해 '데사(Dessa)'라는 새로운 음성 모델 개발을 발표했습니다. 이 모델은 소비자 기기에서 로컬로 실행될 수 있으며, 전통적인 텍스트 음성 변환(TTS) 방식을 거치지 않고 자연스러운 멈춤, 한숨, 감정적 표현을 포함하여 인간의 표현에 매우 가까운 음성 톤을 제공하는 것이 특징입니다.
데사 모델은 NVIDIA GPU 1랙을 사용하여 인간의 음성 데이터로 전면 학습되었습니다. 또한 완전 양방향(Full-Duplex) 모델로 설계되어 말하기와 듣기를 동시에 수행할 수 있으며, 정보를 검색하기 위해 별도의 대형 언어 모델(LLM)에 연결되는 대신 대화 데이터에서 직접 지식을 도출합니다.
회사는 기존의 음성 모델들이 음성을 생성하기 위해 사전에 텍스트 처리에 의존하고 감정적 표현을 강제하기 위해 주로 음성 태그를 사용하기 때문에 부자연스럽거나 거슬리게 들리는 경우가 많다고 설명했습니다. 이에 반해 블록은 자사 모델의 감정적 측면이 기본 아키텍처에 통합되어 있다고 강조했으며, 연구원들은 피로감을 표현하거나 역할극 상호작용에 참여하는 등 감정적 상태에 따라 어조가 다양하게 변하는 것을 보여주는 음성 샘플을 공개했습니다.
실무적으로 무엇이 바뀌는가?
데사 모델은 MacBook M4 Max 이상의 사양을 가진 소비자용 개인용 컴퓨터에서 로컬로 작동할 수 있는 기술적 역량을 갖추고 있습니다. 이러한 발전은 이미 음성 AI를 활용해 주문을 관리하는 블록 산하의 스퀘어(Square) 같은 기업들에게 잠재적인 기회를 제공하며, 기기 내 로컬 구동을 통해 복잡한 클라우드 인프라 없이도 더 낮은 운영 비용으로 사용자에게 대화형 경험을 활성화할 수 있게 합니다.
제한 사항 및 현재 가용성
현재 회사는 데사 모델을 일반에 공개하지 않았으며, 현재 단계는 보안 연구원들을 초대하여 모델을 테스트하고 잠재적 위험, 특히 음성 에이전트가 개인을 속이는 데 악용될 수 있는 인간 모방 능력과 관련된 위험을 평가하는 것으로 제한되어 있습니다.