Компания Block, принадлежащая Джеку Дорси, объявила о разработке новой голосовой модели под названием Dessa через свою исследовательскую лабораторию. Модель отличается способностью работать локально на потребительских устройствах и воспроизводить голосовые интонации, которые очень близки к человеческой речи, включая паузы, вздохи и естественные эмоциональные выражения без необходимости использования традиционных методов преобразования текста в речь.
Модель Dessa была полностью обучена на данных человеческой речи с использованием одной стойки графических процессоров NVIDIA. Она является полностью полнодуплексной (Full-Duplex), что позволяет ей говорить и слушать одновременно, а также черпать знания напрямую из данных разговора, а не привязываться к крупной языковой модели для извлечения информации.
Компания пояснила, что существующие голосовые модели часто звучат неестественно или раздражающе из-за опоры на предварительную обработку текста для генерации звука, и в основном полагаются на звуковые теги для навязывания эмоционального выражения. В свою очередь, Block утверждает, что эмоциональный аспект в ее модели встроен в ее базовую архитектуру. Исследователи опубликовали аудиосемплы, демонстрирующие вариативность интонаций ассистента и их изменение в зависимости от эмоционального состояния, такого как выражение усталости или участие в ролевых взаимодействиях.
Что меняется на практике?
Модель Dessa обладает технической способностью работать локально на персональных компьютерах с потребительскими характеристиками, таких как MacBook M4 Max или выше. Это развитие представляет собой потенциальную возможность для таких компаний, как Square (принадлежит Block), которые уже полагаются на голосовой искусственный интеллект при управлении заказами. Локальный запуск на устройствах позволяет реализовать интерактивный пользовательский опыт с меньшими операционными затратами и без необходимости использования сложной облачной инфраструктуры.
Ограничения и текущая доступность
На данный момент компания не выпустила модель Dessa для общего использования. Текущий шаг ограничился приглашением исследователей в области технической безопасности для тестирования модели и оценки потенциальных рисков, особенно тех, которые связаны со способностью голосовых агентов имитировать людей способами, которые могут быть использованы для обмана людей.