일본 오키나와현 우라소에시에 있는 嶺井第一病院은 의식과 표현 능력은 유지한 채 말할 능력을 잃은 환자들을 돕기 위해 CommunicationBoard+AI 시스템을 제공하기 시작했다. 이 시스템은 NTTコノキューデバイス의 MiRZA 안경과 이에 연결된 스마트폰, 그리고 XBOX Adaptive ジョイスティック 유형의 조이스틱 컨트롤러에 기반한다.
1월부터 4월까지 진행된 시험에는 누적으로 25명의 환자가 참여했다. 기사에 따르면 일부 환자는 처음에 망설였지만, 안경을 사용해 본 뒤 열의를 보이며 계속 사용했다. 종이 또는 아크릴 문자판으로 몇 분이 걸리던 메시지 작성이 수십 초 또는 일부 사례에서는 몇 초로 줄었다. 이 시스템의 공식 제공은 5월 29일 시작됐으며, 근위축성 측삭경화증(ALS) 환자들이 개별적으로 사용하기 시작했다.
문자판에서 문장 제안으로
‘고주온’ 음절로 구성된 일본어 문자판이 사용자의 시야에 표시된다. 머리 움직임이나 조이스틱을 사용해 커서를 움직일 수 있으며, 입력 방식은 두 가지다. 글자를 하나씩 선택하거나, ‘아행’ 또는 ‘카행’과 같은 그룹을 선택한 뒤 슬라이딩 키보드와 유사한 방식으로 선택 범위를 좁힐 수 있다. 의료진은 각 환자에게 가장 적합한 방식을 정한다.
약 두 글자를 입력하면 시스템은 Microsoft Azure를 통해 이용할 수 있는 OpenAI의 인공지능 모델을 사용해 다음 단어나 문구를 예측한다. 문장을 확정하면 Text to Speech 서비스를 사용해 음성으로 변환하며, 가족이나 돌봄 종사자가 이를 들을 수 있다.
카메라가 메시지에 맥락을 더하다
이 시스템은 텍스트 입력에만 국한되지 않는다. 카메라 아이콘을 선택하면 Azure의 이미지 인식 서비스가 안경 카메라가 촬영한 장면을 분석하고 커튼, 침대, 텔레비전과 같은 사물의 이름을 제안한다. 이후 ‘켜 줘’ 또는 ‘꺼 줘’와 같은 동사를 사용해 메시지를 완성할 수 있다. 다른 사례에서 시스템은 카메라 앞에 나타난 책, 과일, 사람을 인식한 뒤 적절한 이름을 제안 목록에 추가했다.
Rocket Studio는 2022년 11월부터 3년 반에 걸쳐 프로그래머와 디렉터로 구성된 팀을 통해 이 시스템을 개발했다. 회사의 부사장인 도모히코 나카지마는 핵심 혁신이 회사가 개발한 인공지능 기술에 있는 것이 아니라 색상, 글자 크기, 입력 단계 수, 설명서를 읽지 않고도 사용할 수 있는 가능성 등 인터페이스 설계에 있다고 말했다. 회사는 게임 개발 경험을 활용해 인터페이스를 구축했다.
실제로 무엇이 달라졌는가?
이 시스템의 가치는 환자가 표현하고 싶어 하는 순간부터 주변 사람에게 메시지가 전달될 때까지의 부담을 줄이는 데 있다. 또한 인공지능과 음성 변환 서비스를 클라우드에 배치함으로써 2024년에 생산이 중단된 HoloLens 2에서 MiRZA로 애플리케이션을 이전하기가 쉬워졌다. 기본 구성 요소를 다시 구축할 필요 없이 기기의 입력과 표시 부분을 주로 수정하면 됐다.
현장 적용을 통해 특히 일부 휠체어 재활 환자에게 머리 움직임을 이용한 조작이 피로를 유발할 수 있다는 점도 드러났다. 이에 회사는 병원의 의견을 반영해 조이스틱을 추가했고, 하루 만에 통합을 완료했다. 환자별 경험 조정은 사전 설정된 텍스트 지시를 통해 이뤄진다. 예를 들어 눈 자극을 피해야 하는 환자에게 조명이나 커튼과 관련된 문구를 제시하는 방식이다. 기사에 따르면 시스템은 전자 의무기록 전체를 불러오지 않고, 필요한 정보만 사용한다.
한계와 남은 질문
현재의 조작 방식은 눈만 움직일 수 있게 된 ALS 환자에게는 작동하지 않는다. 머리나 손가락을 사용해야 하기 때문에 이러한 능력을 잃기 전에 사용을 시작해야 한다는 뜻이다. Rocket Studio는 이용 가능한 경우 시선 추적 기능을 갖춘 저가형 기기로 시스템을 이전하는 방안을 검토하고 있으며, 사전에 문장을 녹음해 환자의 원래 목소리를 모방하는 인공 음성을 추가하는 방안도 검토하고 있다.
서비스는 라이선스 계약을 통해 판매되며, 가격은 문의 시 개별적으로 결정된다. 회사는 가정 재활을 위한 저비용 버전을 계획하고 있다. 기사에는 Azure에 유해 콘텐츠 자동 필터가 있다고 언급되어 있지만, 임상 결과에 관한 정량적 자료나 예측 및 이미지 인식의 정확도에 대한 운영 세부 정보는 제시되지 않았다. 이러한 사항은 시스템의 광범위한 적합성을 평가하기 전에 검토가 필요한 지점이다.