La société Block, appartenant à Jack Dorsey, a annoncé le développement d'un nouveau modèle vocal baptisé Dessa par le biais de son laboratoire de recherche. Ce modèle se distingue par sa capacité à s'exécuter localement sur les appareils des consommateurs et à offrir des tonalités vocales très proches de l'expression humaine en incluant des pauses, des soupirs et des expressions émotionnelles naturelles, sans qu'il soit nécessaire de recourir aux méthodes traditionnelles de conversion de texte par synthèse vocale.
Le modèle Dessa a été entièrement entraîné sur des données de parole humaine en utilisant une seule étagère d'unités de traitement graphique (GPU) produites par NVIDIA. Il se caractérise par le fait d'être un modèle entièrement bidirectionnel (Full-Duplex), ce qui lui permet de parler et d'écouter en même temps, en plus de puiser ses connaissances directement dans les données de conversation plutôt que d'être relié à un grand modèle de langage dédié à la récupération d'informations.
La société a expliqué que les modèles vocaux actuels semblent souvent non naturels ou agaçants en raison de leur dépendance au traitement préalable des textes pour émettre du son, et qu'ils reposent généralement sur des balises phonétiques pour imposer une expression émotionnelle. En revanche, Block affirme que l'aspect émotionnel de son modèle est intégré dans sa structure fondamentale. Les chercheurs ont publié des échantillons audio montrant la variation des tonalités de l'assistant et leur modification selon l'état émotionnel, comme l'expression de la fatigue ou la participation à des interactions de jeu de rôle.
Qu'est-ce qui change concrètement ?
Le modèle Dessa possède la capacité technique de fonctionner localement sur des ordinateurs personnels dotés de spécifications grand public, tels qu'un MacBook M4 Max ou supérieur. Cette évolution représente une opportunité potentielle pour des entreprises telles que Square, détenue par Block, qui s'appuie déjà sur l'intelligence artificielle vocale pour la gestion des commandes. En effet, l'exécution locale sur les appareils permet d'activer des expériences interactives pour les utilisateurs à un coût opérationnel inférieur et sans avoir besoin d'infrastructures cloud complexes.
Limitations et disponibilité actuelle
Jusqu'à présent, la société n'a pas lancé le modèle Dessa pour un usage grand public. L'étape actuelle s'est limitée à inviter des chercheurs en sécurité technique à tester le modèle et à évaluer les risques potentiels, notamment ceux liés à la capacité des agents vocaux à imiter les êtres humains d'une manière qui pourrait être utilisée pour tromper des individus.