Japonya’nın Okinawa ilindeki Urasoe kentinde bulunan Minei Daiichi Hastanesi (嶺井第一病院), bilinçleri ve ifade yetenekleri korunmasına rağmen konuşma becerisini kaybeden hastalara yardımcı olmak amacıyla CommunicationBoard+AI sistemini sunmaya başladı. Sistem, NTTコノキューデバイス tarafından geliştirilen MiRZA gözlüğüne, gözlükle eşleştirilen bir akıllı telefona ve XBOX Adaptive ジョイスティック türünde bir kumanda koluna dayanıyor.
Ocak-april ayları arasındaki denemeye toplamda 25 hasta katıldı. Habere göre bazı hastalar başlangıçta tereddüt etti, ancak gözlüğü denedikten sonra kullanmayı istekle sürdürdü. Kâğıt veya akrilik karakter tablosu kullanılarak dakikalar süren mesaj oluşturma işlemi, bazı durumlarda onlarca saniyeye veya birkaç saniyeye indi. Sistemin resmî olarak sunulmasına 29 Mayıs’ta başlandı; ayrıca sistem, amyotrofik lateral skleroz (ALS) hastaları tarafından bireysel olarak kullanılmaya başlandı.
Karakter tablosundan cümle önerisine
«Gojūon» hecelerinden oluşan Japonca karakter tablosu kullanıcının görüş alanında beliriyor. İmleç baş hareketleriyle veya kumanda kolu kullanılarak hareket ettirilebiliyor. İki giriş seçeneği bulunuyor: Her karakteri tek tek seçmek ya da «A satırı» veya «Ka satırı» gibi bir grubu seçip, kayan klavyeyi andıran bir yöntemle seçimi daraltmak. Görevliler her hasta için en uygun yöntemi belirliyor.
Yaklaşık iki karakter girildikten sonra sistem, sonraki kelimeleri veya ifadeleri tahmin etmek için Microsoft Azure üzerinden sunulan bir OpenAI yapay zekâ modelini kullanıyor. Cümle onaylandıktan sonra, aile üyelerinin veya bakım görevlilerinin duyabilmesi için Text to Speech hizmetiyle sese dönüştürülüyor.
Kamera mesaja bağlam ekliyor
Sistem yalnızca metin girişinden ibaret değil. Kamera simgesi seçildiğinde Azure’un görüntü tanıma hizmeti, gözlük kamerasının görüntülediği sahneyi analiz ediyor ve perde, yatak ve televizyon gibi nesnelerin adlarını öneriyor. Ardından mesaj «aç» veya «kapat» gibi eylemlerle tamamlanabiliyor. Diğer örneklerde sistem, kameranın önünde görünen kitapları, meyveleri ve insanları da tanıdı ve uygun adları öneri listesine ekledi.
Rocket Studio, sistemi Kasım 2022’den başlayarak üç buçuk yıl boyunca bir programcı ve bir yöneticiden oluşan bir ekiple geliştirdi. Şirket başkan yardımcısı Tomohiko Nakajima, temel yeniliğin şirket tarafından geliştirilen bir yapay zekâ teknolojisi değil; renkler, karakter boyutları, giriş adımlarının sayısı ve kılavuz okumadan kullanılabilme olanağı gibi arayüz tasarımı olduğunu söyledi. Şirket, arayüzü oluştururken oyun geliştirme deneyiminden yararlandı.
Uygulamada ne değişti?
Sistemin değeri, hastanın kendini ifade etme isteği ile mesajın çevresindekilere ulaşması arasındaki yükü azaltmasında yatıyor. Yapay zekâ ile konuşmayı sese dönüştürme hizmetlerinin buluta taşınması, 2024’te üretimi durdurulan HoloLens 2 gözlüğünden MiRZA’ya geçişi de kolaylaştırdı; temel bileşenleri yeniden oluşturmak gerekmedi ve esas değişiklik cihazdaki giriş ile görüntüleme bölümleriyle sınırlı kaldı.
Sahadaki uygulama, baş hareketleriyle kontrolün özellikle tekerlekli sandalyedeki bazı rehabilitasyon hastalarında yorucu olabileceğini de gösterdi. Bu nedenle şirket, hastanenin gözlemi üzerine kumanda kolunu ekledi ve bunu bir gün içinde sisteme entegre etmeyi başardı. Deneyimin her hasta için özelleştirilmesi, önceden hazırlanmış metin talimatlarıyla yapılıyor; örneğin gözlerinin uyarılmasından kaçınılması gereken bir hasta için aydınlatma veya perdelerle ilgili ifadeler öne çıkarılıyor. Haberde belirtildiğine göre sistem, elektronik sağlık kaydının tamamını yüklemiyor; yalnızca gerekli bilgilerle sınırlı kalıyor.
Sınırlar ve açık sorular
Mevcut kontrol yöntemi, artık yalnızca gözlerini hareket ettirebilen ALS hastalarında çalışmıyor; çünkü başın veya parmağın kullanılmasını gerektiriyor. Bu da sistemin kullanımına, bu yetenekler kaybedilmeden önce başlanması gerektiği anlamına geliyor. Rocket Studio, uygun cihazlar bulunması hâlinde sistemi göz takibi özellikli daha ucuz cihazlara aktarmayı araştırıyor. Şirket ayrıca önceden kaydedilmiş ifadeler aracılığıyla hastanın özgün sesini taklit eden sentetik bir ses eklemeyi de değerlendiriyor.
Hizmet lisans anlaşmaları yoluyla satılıyor; fiyat, başvuru sırasında bireysel olarak belirleniyor. Şirket, evde rehabilitasyon için daha düşük maliyetli bir sürüm planlıyor. Haberde Azure’da zararlı içerik için otomatik bir filtre bulunduğu belirtiliyor; ancak tahmin ve görüntü tanıma doğruluğuna ilişkin nicel klinik sonuçlar veya operasyonel ayrıntılar sunulmuyor. Bunlar, sistemin daha geniş ölçekte uygunluğunu değerlendirmeden önce incelenmesi gereken noktalar.