沖縄県浦添市の嶺井第一病院は、意識と表現能力を保ちながら話す能力を失った患者を支援するため、CommunicationBoard+AIシステムの提供を開始した。このシステムは、NTTコノキューデバイスのMiRZAスマートグラスと、それに接続したスマートフォン、さらにXBOX Adaptive ジョイスティックという種類のジョイスティック型コントローラーで構成されている。
1月から4月まで実施された試験には、延べ25人の患者が参加した。記事によると、一部の患者は当初ためらいを見せたものの、試してみた後は意欲的にグラスの使用を続けた。紙やアクリル製の文字盤を使うと数分かかっていたメッセージの作成が、場合によっては数十秒、または数秒で済むようになった。システムの正式提供は5月29日に始まり、筋萎縮性側索硬化症（ALS）の患者による個別利用も始まった。
文字盤から文章予測へ
「五十音」の音節で構成された日本語の文字盤が、利用者の視野内に表示される。カーソルは頭の動き、またはコントローラーを使って動かすことができ、入力方法には2つの選択肢がある。1つは文字を1つずつ選ぶ方法、もう1つは「ア行」や「カ行」のような行を選んでから、スライド式キーボードに似た方法で選択を絞り込む方法だ。スタッフは患者ごとに最適な方法を決める。
約2文字を入力すると、システムはMicrosoft Azureを通じて利用できるOpenAIのAIモデルを使い、次に続く単語やフレーズを予測する。文章を確定すると、Text to Speechサービスによって音声に変換され、家族や介護スタッフが聞けるようになる。
カメラがメッセージに文脈を加える
このシステムはテキスト入力だけに限定されない。カメラのアイコンを選択すると、Azureの画像認識サービスがグラスのカメラで撮影した場面を分析し、カーテン、ベッド、テレビなどの物体名を提案する。その後、「つけて」や「消して」といった動詞を使ってメッセージを完成させることができる。別の例では、カメラの前に現れた本、果物、人もシステムが認識し、適切な名前を候補リストに追加した。
Rocket Studioは、2022年11月から3年半をかけてこのシステムを開発した。チームはプログラマーとディレクターの2人で構成されていた。同社の副社長であるトモヒコ・ナカジマ氏は、核心となる革新は同社が開発したAI技術ではなく、色、文字の大きさ、入力手順の数、説明書を読まずに使えることといったインターフェースの設計にあると述べた。同社はゲーム開発の経験を生かしてインターフェースを構築した。
実際に何が変わったのか
このシステムの価値は、患者が表現したいと思ってから、そのメッセージが周囲の人に届くまでの負担を減らす点にある。また、AI機能と音声読み上げサービスをクラウド上に配置したことで、2024年に生産が終了したHoloLens 2からMiRZAへ、基本コンポーネントを再構築することなくアプリケーションを移行しやすくなった。主な変更は、端末における入力と表示に限られた。
現場での運用からは、頭の動きによる操作が、特に車椅子を使用する一部のリハビリテーション患者にとって疲労の原因になることも明らかになった。そのため同社は、病院からの指摘を受けてコントローラーを追加し、1日で統合することに成功した。患者ごとの体験のカスタマイズは、あらかじめ用意したテキスト指示によって行う。例えば、目への刺激を避ける必要がある患者には、照明やカーテンに関するフレーズを提示する。記事によると、このシステムが電子カルテ全体を読み込むことはなく、必要な情報に限定している。
限界と残された課題
現在の操作方法は、目しか動かせなくなったALS患者には対応していない。頭または指の使用が必要なため、これらの能力を失う前に利用を開始する必要がある。Rocket Studioは、利用可能になれば、より安価でアイトラッキング機能を備えた端末へシステムを移行することを検討している。また、あらかじめフレーズを録音し、患者本来の声を再現する合成音声の追加も検討している。
サービスはライセンス契約を通じて販売され、価格は問い合わせ時に個別に提示される。同社は在宅リハビリテーション向けの低価格版も計画している。記事では、Azureに有害コンテンツの自動フィルターが存在することに触れているが、予測や画像認識の精度に関する定量的な臨床結果や運用上の詳細は示されていない。これらは、より広い範囲でシステムの適合性を評価する前に検証が必要な点である。