Jack Dorsey'e ait Block şirketi, araştırma laboratuvarı aracılığıyla Dessa adında yeni bir ses modeli geliştirdiğini açıkladı. Model, tüketici cihazlarında yerel olarak çalışabilme yeteneğiyle öne çıkıyor; geleneksel metin-konuşma dönüştürme yöntemlerine ihtiyaç duymadan duraklamalar, iç çekmeler ve doğal duygusal ifadeler ekleyerek insan ifadesine son derece yakın ses tonları sunuyor.
Dessa modeli, tamamen insan konuşma verileri üzerinde, NVIDIA üretimi tek bir sunucu rafındaki grafik işlem birimleri kullanılarak eğitildi. Aynı anda hem konuşup hem de dinlenmesini sağlayan tam çift yönlü (Full-Duplex) bir model olmasının yanı sıra, bilgi almak için ayrılmış büyük bir dil modeline bağlanmak yerine bilgisini doğrudan sohbet verilerinden almasıyla dikkat çekiyor.
Şirket, mevcut ses modellerinin sesi üretmek için önceden metin işlemeye dayandıkları ve duygusal ifadeyi zorlamak için genellikle ses işaretlerine güvendikleri için genellikle doğaçlama dışı veya rahatsız edici geldiğini açıkladı. Buna karşılık Block, modelindeki duygusal yönün temel mimarisine entegre edildiğini vurguluyor. Araştırmacılar, yorgunluk ifadesi veya rol yapma etkileşimlerine girme gibi duygusal duruma bağlı olarak asistanın ses tonlarının nasıl değiştiğini ve çeşitlendiğini gösteren ses örnekleri yayınladılar.
Pratikte ne değişiyor?
Dessa modeli, bir MacBook M4 Max veya daha yüksek özelliklere sahip tüketici sınıfı kişisel bilgisayarlarda yerel olarak çalışabilme teknik kapasitesine sahip. Bu gelişim, ses tabanlı yapay zekayı sipariş yönetimi için hâlihazırda kullanan Block'a ait Square gibi şirketler için potansiyel bir fırsat teşkil ediyor; çünkü cihaz üzerinde yerel çalıştırma, karmaşık bulut altyapılarına ihtiyaç duymadan ve daha düşük işletme maliyetiyle kullanıcılar için etkileşimli deneyimler sunulmasını sağlıyor.
Kısıtlamalar ve mevcut durum
Şirket, Dessa modelini henüz genel kullanıma sunmadı; mevcut adım, özellikle sesli ajanların insanları taklit etme yeteneklerinin bireyleri kandırmak için kullanılabileceği durumlarla ilgili potansiyel riskleri test etmek ve değerlendirmek üzere güvenlik araştırmacılarının modele davet edilmesiyle sınırlı tutuldu.