El Hospital Minai Daiichi, en la ciudad de Urasoe, en la prefectura japonesa de Okinawa, comenzó a ofrecer el sistema CommunicationBoard+AI para ayudar a los pacientes que han perdido la capacidad de hablar, pero conservan la conciencia y la capacidad de expresarse. El sistema utiliza las gafas MiRZA de NTTコノキューデバイス, un teléfono inteligente emparejado con ellas y un controlador con joystick del tipo XBOX Adaptive ジョイスティック.
Durante una prueba que se prolongó de enero a abril, participaron acumulativamente 25 pacientes. Según el artículo, algunos pacientes se mostraron inicialmente indecisos, pero siguieron utilizando las gafas con entusiasmo después de probarlas. La composición de mensajes, que utilizando un tablero de letras de papel o acrílico tardaba minutos, pasó a requerir decenas de segundos o unos pocos segundos en algunos casos. La provisión oficial del sistema comenzó el 29 de mayo, y también empezó a utilizarse individualmente con pacientes con esclerosis lateral amiotrófica (ALS).
Del tablero de letras a la sugerencia de frases
El tablero de letras japonesas compuesto por sílabas «gojūon» aparece dentro del campo de visión del usuario. El cursor puede moverse mediante movimientos de la cabeza o utilizando el controlador, con dos opciones de entrada: seleccionar cada letra individualmente, o seleccionar un grupo, como la «fila A» o la «fila KA», y después reducir la selección mediante un método similar al de un teclado deslizante. El personal determina el método más adecuado para cada paciente.
Después de introducir aproximadamente dos letras, el sistema utiliza un modelo de inteligencia artificial de OpenAI disponible a través de Microsoft Azure para predecir las siguientes palabras o frases. Una vez aprobada la frase, se convierte en voz mediante el servicio Text to Speech, para que puedan oírla los familiares o el personal de atención.
La cámara añade contexto al mensaje
El sistema no se limita a la introducción de texto. Al seleccionar el icono de la cámara, el servicio de reconocimiento de imágenes de Azure analiza la escena captada por la cámara de las gafas y sugiere nombres de objetos, como la cortina, la cama y el televisor. Después, el mensaje puede completarse con verbos como «enciende» o «apaga». En otros ejemplos, el sistema también reconoció libros, frutas y personas que aparecieron ante la cámara, y añadió nombres adecuados a la lista de sugerencias.
Rocket Studio desarrolló el sistema durante tres años y medio, a partir de noviembre de 2022, con un equipo compuesto por un programador y un director. El vicepresidente de la empresa, Tomohiko Nakajima, afirmó que la innovación fundamental no consiste en una tecnología de inteligencia artificial desarrollada por la compañía, sino en el diseño de la interfaz: los colores, el tamaño de las letras, el número de pasos de entrada y la posibilidad de utilizarla sin leer un manual. La empresa aprovechó su experiencia en el desarrollo de videojuegos para crear la interfaz.
¿Qué cambió en la práctica?
El valor del sistema reside en reducir la carga entre el deseo del paciente de expresarse y la llegada del mensaje a las personas que lo rodean. Además, situar la inteligencia artificial y los servicios de conversión de voz a texto en la nube facilitó trasladar la aplicación de HoloLens 2, cuya producción se detuvo en 2024, a MiRZA sin reconstruir los componentes básicos; la modificación principal se limitó a la entrada y la visualización en el dispositivo.
La práctica sobre el terreno también mostró que controlar el sistema mediante movimientos de la cabeza puede causar fatiga, especialmente a algunos pacientes de rehabilitación en silla de ruedas. Por ello, la empresa añadió el controlador tras la observación del hospital y logró integrarlo en un solo día. La personalización de la experiencia para cada paciente se realiza mediante instrucciones de texto preestablecidas, como ofrecer frases relacionadas con la iluminación o las cortinas a un paciente al que debe evitarse estimular los ojos. El sistema no carga por completo el historial médico electrónico, sino que se limita a la información necesaria, según lo indicado en el artículo.
Limitaciones y cuestiones abiertas
El método de control actual no funciona con un paciente de ALS que ya solo puede mover los ojos, ya que requiere utilizar la cabeza o el dedo. Esto significa que su uso debe comenzar antes de perder esas capacidades. Rocket Studio estudia trasladar el sistema a dispositivos más baratos equipados con seguimiento ocular, si están disponibles, y también considera añadir una voz sintética que imite la voz original del paciente mediante la grabación previa de frases.
El servicio se vende mediante acuerdos de licencia, mientras que el precio se determina individualmente al realizar la consulta. La empresa planea una versión menos costosa para la rehabilitación en el hogar. El artículo menciona la existencia de un filtro automático de contenido dañino en Azure, pero no ofrece resultados clínicos cuantitativos ni detalles operativos sobre la precisión de la predicción y del reconocimiento de imágenes, puntos que requieren revisión antes de evaluar la idoneidad del sistema a mayor escala.