日本冲绳县浦添市的嶺井第一病院开始提供 CommunicationBoard+AI 系统,帮助在意识和表达能力仍然保留的情况下失去说话能力的患者。该系统由 NTTコノキューデバイス 的 MiRZA 眼镜、与其配对的智能手机,以及 XBOX Adaptive ジョイスティック 型操纵杆控制器组成。
在 1 月至 4 月进行的试验中,共有 25 名患者累计参与。根据报道,一些患者起初有所犹豫,但体验后仍热情地继续使用眼镜。使用纸质或亚克力字符板需要数分钟完成的信息编写,在部分情况下使用该系统只需几十秒或几秒。系统于 5 月 29 日正式开始提供,患有肌萎缩侧索硬化症(ALS)的患者也已开始个别使用。
从字符板到句子建议
由“五十音”音节组成的日语字符板会显示在用户的视野中。用户可以通过头部动作或操纵杆移动光标,并可选择两种输入方式:逐个选择字符,或先选择“あ行”或“か行”等字符组,再以类似滑动键盘的方式缩小选择范围。工作人员会为每名患者确定最合适的方式。
输入大约两个字符后,系统会使用通过 Microsoft Azure 提供的 OpenAI 人工智能模型,预测接下来的词语或短语。确认句子后,系统会使用 Text to Speech 服务将其转换为语音,供家属或护理人员听到。
摄像头为信息添加语境
该系统不局限于文本输入。选择摄像头图标后,Azure 的图像识别服务会分析眼镜摄像头拍摄的场景,并建议窗帘、床和电视等物体名称。之后可以用“打开”或“关闭”等动词补充信息。在其他示例中,系统还识别出摄像头前出现的书籍、水果和人物,并将适当的名称添加到建议列表中。
Rocket Studio 历时三年半开发该系统,自 2022 年 11 月开始,由一名程序员和一名经理组成的团队负责。该公司副总裁中岛智彦表示,核心创新并不是公司开发的人工智能技术,而是界面设计,包括颜色、字符大小、输入步骤数量,以及无需阅读说明书即可使用的能力。公司利用自身的游戏开发经验构建了该界面。
实际发生了哪些变化?
该系统的价值在于减轻患者产生表达意愿到信息传达给周围人员之间的负担。此外,将人工智能和语音合成服务置于云端,使应用能够从已于 2024 年停止生产的 HoloLens 2 眼镜迁移到 MiRZA,而无需重新构建核心组件;主要调整仅限于设备上的输入和显示。
现场实践还显示,头部动作控制可能导致疲劳,尤其是对部分坐轮椅的康复患者而言。因此,公司根据医院的意见加入了操纵杆,并在一天内完成整合。每名患者的体验则通过预先设定的文本指令进行定制,例如,对于需要避免刺激眼睛的患者,提供与照明或窗帘相关的短语。根据报道,该系统不会完整加载电子病历,而只使用必要的信息。
局限与待解问题
目前的控制方式无法适用于只剩眼球运动能力的 ALS 患者,因为系统要求使用头部或手指,这意味着应在失去这些能力之前开始使用。Rocket Studio 正在研究,如果有条件,将系统转移到配备眼动追踪功能的低价设备上;公司也在考虑通过预先录制短语,加入模拟患者原声的合成声音。
该服务通过许可协议销售,价格则在咨询时单独确定,公司计划推出面向家庭康复的低价版本。报道提到 Azure 中设有有害内容自动过滤器,但没有提供定量临床结果,也没有说明预测和图像识别的运行细节及准确率;在更大范围评估系统适用性之前,这些都是需要审查的要点。