O Hospital 嶺井第一病院, na cidade de Urasoe, na província japonesa de Okinawa, começou a disponibilizar o sistema CommunicationBoard+AI para ajudar pacientes que perderam a capacidade de falar, mas mantêm a consciência e a capacidade de se expressar. O sistema utiliza os óculos MiRZA, da NTTコノキューデバイス, um smartphone emparelhado com eles e uma unidade de controle com joystick do tipo XBOX Adaptive ジョイスティック.
Durante um teste realizado de janeiro a abril, participaram cumulativamente 25 pacientes. Segundo o artigo, alguns pacientes estavam hesitantes no início, mas continuaram usando os óculos com entusiasmo depois de experimentá-los. A composição de mensagens, que levava minutos com um painel de letras de papel ou acrílico, passou a levar dezenas de segundos ou poucos segundos em alguns casos. A disponibilização oficial do sistema começou em 29 de maio, e ele também começou a ser usado individualmente por pacientes com esclerose lateral amiotrófica (ELA).
Do painel de letras à sugestão de frases
O painel de letras japonesas composto pelos silabários “gojūon” aparece no campo de visão do usuário. O cursor pode ser movido pelo movimento da cabeça ou com o controle, com duas opções de entrada: selecionar cada letra individualmente ou selecionar um grupo, como a “linha A” ou a “linha KA”, e depois restringir a seleção de maneira semelhante a um teclado deslizante. Os profissionais determinam o método mais adequado para cada paciente.
Após a inserção de aproximadamente duas letras, o sistema usa um modelo de inteligência artificial da OpenAI disponibilizado por meio do Microsoft Azure para prever as próximas palavras ou frases. Depois de aprovada, a frase é convertida em voz usando o serviço Text to Speech, para que familiares ou profissionais de atendimento possam ouvi-la.
A câmera acrescenta contexto à mensagem
O sistema não se limita à entrada de texto. Ao selecionar o ícone da câmera, o serviço de reconhecimento de imagens do Azure analisa a cena captada pela câmera dos óculos e sugere nomes de objetos, como cortina, cama e televisão. Depois, é possível completar a mensagem com verbos como “ligar” ou “desligar”. Em outros exemplos, o sistema também reconheceu livros, frutas e pessoas que apareceram diante da câmera e acrescentou nomes adequados à lista de sugestões.
A Rocket Studio desenvolveu o sistema ao longo de três anos e meio, começando em novembro de 2022, com uma equipe formada por um programador e um gerente. O vice-presidente da empresa, Tomohiko Nakajima, afirmou que a inovação fundamental não está em uma tecnologia de inteligência artificial desenvolvida pela empresa, mas no design da interface: cores, tamanhos das letras, número de etapas de entrada e possibilidade de uso sem ler um manual. A empresa aproveitou sua experiência no desenvolvimento de jogos para criar a interface.
O que mudou na prática?
O valor do sistema está na redução da carga entre o desejo do paciente de se expressar e a chegada da mensagem às pessoas ao seu redor. Além disso, colocar a inteligência artificial e os serviços de conversão de fala em voz na nuvem facilitou a transferência do aplicativo dos óculos HoloLens 2, cuja produção foi interrompida em 2024, para o MiRZA sem reconstruir os componentes básicos; a principal alteração ficou limitada à entrada e à exibição no dispositivo.
A prática em campo também mostrou que o controle por movimentos da cabeça pode causar cansaço, especialmente em alguns pacientes de reabilitação em cadeiras de rodas. Por isso, a empresa acrescentou o controle após uma observação do hospital e conseguiu integrá-lo em um único dia. A personalização da experiência para cada paciente é feita por meio de instruções de texto predefinidas, como oferecer frases relacionadas à iluminação ou às cortinas para um paciente cujos olhos devem evitar estímulos. O sistema não carrega todo o prontuário eletrônico, limitando-se às informações necessárias, conforme relatado no artigo.
Limitações e questões em aberto
O método de controle atual não funciona com um paciente de ELA que já só consegue mover os olhos; ele exige o uso da cabeça ou do dedo, o que significa que seu uso deve começar antes da perda dessas capacidades. A Rocket Studio estuda transferir o sistema para dispositivos mais baratos equipados com rastreamento ocular, caso estejam disponíveis, e também considera adicionar uma voz sintética que imite a voz original do paciente por meio da gravação prévia de frases.
O serviço é vendido por meio de acordos de licenciamento, enquanto o preço é definido individualmente mediante consulta, e a empresa planeja uma versão de menor custo para reabilitação domiciliar. O artigo menciona a existência de um filtro automático de conteúdo nocivo no Azure, mas não apresenta resultados clínicos quantitativos nem detalhes operacionais sobre a precisão da previsão e do reconhecimento de imagens, pontos que precisam ser revisados antes de avaliar a adequação do sistema em uma escala mais ampla.