Больница 嶺井第一病院 в городе Урасоэ префектуры Окинава, Япония, начала предоставлять систему CommunicationBoard+AI для помощи пациентам, утратившим способность говорить, но сохранившим сознание и способность выражать свои мысли. Система использует очки MiRZA производства NTTコノキューデバイス, сопряжённый с ними смартфон и контроллер с джойстиком типа XBOX Adaptive ジョイスティック.
В испытании, проходившем с января по апрель, в общей сложности приняли участие 25 пациентов. Согласно материалу, поначалу некоторые пациенты испытывали сомнения, но после знакомства с очками продолжили пользоваться ими с энтузиазмом. Составление сообщений, которое при использовании бумажной или акриловой буквенной панели занимало несколько минут, в некоторых случаях стало занимать десятки секунд или несколько секунд. Официальное предоставление системы началось 29 мая; кроме того, ею начали индивидуально пользоваться пациенты с боковым амиотрофическим склерозом (ALS).
От буквенной панели к предсказанию предложений
Японская буквенная панель, состоящая из слогов «годзюон», отображается в поле зрения пользователя. Курсор можно перемещать движением головы или с помощью контроллера. Предусмотрены два способа ввода: выбор каждой буквы по отдельности либо выбор группы, например «ряд а» или «ряд ка», с последующим сужением выбора по принципу, похожему на клавиатуру с пролистыванием. Сотрудники определяют наиболее подходящий способ для каждого пациента.
После ввода примерно двух букв система использует модель искусственного интеллекта OpenAI, доступную через Microsoft Azure, чтобы предсказать следующие слова или фразы. После подтверждения предложения оно преобразуется в речь с помощью сервиса Text to Speech, чтобы его могли услышать члены семьи или сотрудники по уходу.
Камера добавляет контекст к сообщению
Система не ограничивается текстовым вводом. При выборе значка камеры служба распознавания изображений Azure анализирует сцену, которую снимает камера очков, и предлагает названия таких объектов, как занавеска, кровать и телевизор. После этого сообщение можно дополнить глаголами вроде «включи» или «выключи». В других примерах система распознавала книги, фрукты и людей, появлявшихся перед камерой, а затем добавляла подходящие названия в список предложений.
Rocket Studio разрабатывала систему в течение трёх с половиной лет, начиная с ноября 2022 года, командой из программиста и менеджера. Вице-президент компании Томохико Накадзима заявил, что основная инновация заключается не в разработанной компанией технологии искусственного интеллекта, а в дизайне интерфейса: цветах, размерах букв, количестве шагов ввода и возможности пользоваться системой без чтения руководства. При создании интерфейса компания использовала опыт разработки игр.
Что изменилось на практике?
Ценность системы заключается в сокращении промежутка между желанием пациента выразить мысль и доставкой сообщения окружающим. Кроме того, размещение искусственного интеллекта и сервисов преобразования речи в текст в облаке упростило перенос приложения с очков HoloLens 2, производство которых было прекращено в 2024 году, на MiRZA без перестройки основных компонентов; основная доработка коснулась ввода и отображения на устройстве.
Полевое использование также показало, что управление движением головы может вызывать утомление, особенно у некоторых пациентов, проходящих реабилитацию в инвалидных креслах. Поэтому после замечания больницы компания добавила контроллер и смогла интегрировать его за один день. Адаптация опыта под каждого пациента осуществляется с помощью заранее подготовленных текстовых инструкций, например с добавлением фраз, связанных с освещением или занавесками, для пациента, которому следует избегать стимуляции глаз. Система не загружает всю электронную медицинскую карту, а использует только необходимую информацию, согласно материалу.
Ограничения и открытые вопросы
Текущий способ управления не работает для пациента с ALS, который уже способен двигать только глазами: он требует использования головы или пальца. Это означает, что начать пользоваться системой следует до утраты этих способностей. Rocket Studio изучает возможность переноса системы на более дешёвые устройства с отслеживанием взгляда, если такие устройства будут доступны, а также рассматривает добавление искусственного голоса, имитирующего исходный голос пациента, на основе предварительно записанных фраз.
Сервис продаётся по лицензионным соглашениям, а цена определяется индивидуально при обращении. Компания планирует более дешёвую версию для домашней реабилитации. В материале упоминается автоматический фильтр вредоносного контента в Azure, однако не приводятся количественные клинические результаты или эксплуатационные сведения о точности предсказания и распознавания изображений. Эти вопросы требуют проверки до оценки пригодности системы в более широком масштабе.