نظارة ذكاء اصطناعي تساعد فاقدي الصوت على التواصل عبر التنبؤ بالكلمات والتعرف على الأشياء

بدأ مستشفى嶺井第一病院 في مدينة أوراسوئي بمحافظة أوكيناوا اليابانية توفير نظام CommunicationBoard+AI لمساعدة المرضى الذين فقدوا القدرة على الكلام، مع استمرار وعيهم وقدرتهم على التعبير. يعتمد النظام على نظارة MiRZA من NTTコノキューデバイス، وهاتف ذكي مقترن بها، ووحدة تحكم بعصا تحريك من نوع XBOX Adaptive ジョイスティック.

خلال تجربة امتدت من يناير إلى أبريل، شارك 25 مريضاً بصورة تراكمية. ووفق المادة، كان بعض المرضى مترددين في البداية، لكنهم واصلوا استخدام النظارة بحماس بعد تجربتها. وأصبح تركيب الرسائل، الذي كان يستغرق دقائق باستخدام لوحة حروف ورقية أو أكريليك، يستغرق عشرات الثواني أو بضع ثوانٍ في بعض الحالات. بدأ التوفير الرسمي للنظام في 29 مايو، كما بدأ استخدامه فردياً من جانب مرضى مصابين بالتصلب الجانبي الضموري (ALS).

من لوحة الحروف إلى اقتراح الجملة

تظهر لوحة الحروف اليابانية المكوّنة من مقاطع «غوجوؤون» داخل مجال رؤية المستخدم. ويمكن تحريك المؤشر عبر حركة الرأس أو باستخدام عصا التحكم، مع خيارين للإدخال: اختيار كل حرف على حدة، أو اختيار مجموعة مثل «صف آ» أو «صف كا» ثم تضييق الاختيار بطريقة تشبه لوحة المفاتيح المنزلقة. ويحدد العاملون الطريقة الأنسب لكل مريض.

بعد إدخال حرفين تقريباً، يستخدم النظام نموذج ذكاء اصطناعي من OpenAI متاحاً عبر Microsoft Azure للتنبؤ بالكلمات أو العبارات التالية. وبعد اعتماد الجملة، تُحوَّل إلى صوت باستخدام خدمة Text to Speech كي يسمعها أفراد الأسرة أو العاملون في الرعاية.

الكاميرا تضيف سياقاً إلى الرسالة

لا يقتصر النظام على الإدخال النصي. فعند اختيار أيقونة الكاميرا، تحلل خدمة التعرف على الصور في Azure المشهد الذي تصوره كاميرا النظارة، وتقترح أسماء أشياء مثل الستارة والسرير والتلفزيون. ويمكن بعد ذلك إكمال الرسالة بأفعال مثل «شغّل» أو «أطفئ». كما تعرّف النظام في أمثلة أخرى على كتب وفاكهة وأشخاص ظهروا أمام الكاميرا، ثم أضاف أسماء مناسبة إلى قائمة الاقتراحات.

طوّرت Rocket Studio النظام على مدى ثلاث سنوات ونصف، بدءاً من نوفمبر 2022، بفريق مكوّن من مبرمج ومدير. وقال نائب رئيس الشركة، توموهيكو ناكاجيما، إن الابتكار الأساسي لا يتمثل في تقنية ذكاء اصطناعي طورتها الشركة، بل في تصميم الواجهة: الألوان، وأحجام الحروف، وعدد خطوات الإدخال، وإمكانية الاستخدام دون قراءة دليل. واستفادت الشركة من خبرتها في تطوير الألعاب لبناء الواجهة.

ما الذي تغير عملياً؟

تكمن قيمة النظام في تقليص العبء بين رغبة المريض في التعبير ووصول الرسالة إلى من حوله. كما أن وضع الذكاء الاصطناعي وخدمات تحويل الكلام إلى صوت في السحابة سهّل نقل التطبيق من نظارة HoloLens 2، التي توقّف إنتاجها في 2024، إلى MiRZA من دون إعادة بناء المكوّنات الأساسية؛ إذ اقتصر التعديل الرئيسي على الإدخال والعرض في الجهاز.

أظهرت الممارسة الميدانية أيضاً أن التحكم بحركة الرأس قد يسبب إجهاداً، خصوصاً لبعض مرضى إعادة التأهيل على الكراسي المتحركة، لذلك أضافت الشركة عصا التحكم بعد ملاحظة المستشفى، وتمكنت من دمجها خلال يوم واحد. أما تخصيص التجربة لكل مريض فيتم عبر تعليمات نصية مسبقة، مثل تقديم عبارات مرتبطة بالإضاءة أو الستائر لمريض ينبغي تجنب تحفيز عينيه. ولا يحمّل النظام السجل الطبي الإلكتروني بالكامل، بل يقتصر على المعلومات الضرورية وفق ما ورد في المادة.

الحدود والأسئلة المفتوحة

لا يعمل أسلوب التحكم الحالي مع مريض ALS الذي لم يعد قادراً إلا على تحريك عينيه؛ إذ يشترط استخدام الرأس أو الإصبع، ما يعني أن البدء باستخدامه ينبغي أن يحدث قبل فقدان هذه القدرات. وتدرس Rocket Studio نقل النظام إلى أجهزة أرخص مزودة بتتبع العين إذا توفرت، كما تنظر في إضافة صوت اصطناعي يحاكي صوت المريض الأصلي عبر تسجيل عبارات مسبقاً.

تُباع الخدمة عبر اتفاقيات ترخيص، بينما يحدد السعر بصورة فردية عند الاستفسار، وتخطط الشركة لنسخة أقل تكلفة لإعادة التأهيل المنزلي. وتذكر المادة وجود مرشح تلقائي للمحتوى الضار في Azure، لكنها لا تقدم نتائج سريرية كمية أو تفاصيل تشغيلية عن دقة التنبؤ والتعرف على الصور، وهي نقاط تحتاج إلى مراجعة قبل تقييم ملاءمة النظام على نطاق أوسع.