La empresa Block, propiedad de Jack Dorsey, ha anunciado el desarrollo de un nuevo modelo de audio llamado Dessa a través de su laboratorio de investigación. El modelo se destaca por su capacidad de ejecutarse localmente en dispositivos de consumo y ofrecer tonos de voz muy cercanos a la expresión humana mediante la inclusión de pausas, suspiros y expresiones emocionales naturales, sin necesidad de recurrir al método tradicional de conversión de texto a voz.
El modelo Dessa fue entrenado completamente con datos de habla humana utilizando un solo rack de unidades de procesamiento gráfico (GPU) de NVIDIA. Se distingue por ser un modelo totalmente bidireccional (Full-Duplex), lo que le permite hablar y escuchar al mismo tiempo, además de obtener su conocimiento directamente de los datos de la conversación en lugar de estar vinculado a un modelo de lenguaje grande dedicado a la recuperación de información.
La empresa explicó que los modelos de audio actuales a menudo suenan poco naturales o molestos debido a su dependencia del procesamiento previo de textos para emitir sonido, y suelen basarse en etiquetas de audio para imponer la expresión emocional. En contraste, Block afirma que el aspecto emocional en su modelo está integrado en su arquitectura básica, y los investigadores han publicado muestras de audio que muestran la variación en los tonos del asistente y cómo cambian según el estado emocional, como expresar cansancio o participar en interacciones de juegos de rol.
¿Qué cambia en la práctica?
El modelo Dessa tiene la capacidad técnica de funcionar localmente en computadoras personales con especificaciones de consumo, como una MacBook M4 Max o superior. Este desarrollo representa una oportunidad potencial para empresas como Square, propiedad de Block, que ya utiliza inteligencia artificial de voz en la gestión de pedidos, ya que la ejecución local en los dispositivos permite habilitar experiencias interactivas para los usuarios a un costo operativo menor y sin necesidad de infraestructuras en la nube complejas.
Limitaciones y disponibilidad actual
Hasta el momento, la empresa no ha lanzado el modelo Dessa para uso general, y el paso actual se ha limitado a invitar a investigadores de seguridad técnica a probar el modelo y evaluar los riesgos potenciales, especialmente aquellos relacionados con la capacidad de los agentes de voz para imitar a los humanos de maneras que podrían usarse para engañar a las personas.