Das 嶺井第一病院 in der Stadt Urasoe in der japanischen Präfektur Okinawa hat begonnen, das System CommunicationBoard+AI bereitzustellen, um Patienten zu unterstützen, die ihre Sprechfähigkeit verloren haben, deren Bewusstsein und Ausdrucksfähigkeit jedoch erhalten geblieben sind. Das System basiert auf der MiRZA-Brille von NTTコノキューデバイス, einem damit gekoppelten Smartphone und einer Steuerung mit einem Joystick des Typs XBOX Adaptive ジョイスティック.
Während eines von Januar bis April dauernden Versuchs nahmen insgesamt 25 Patienten teil. Dem Artikel zufolge waren einige Patienten anfangs zögerlich, nutzten die Brille nach dem Ausprobieren jedoch weiterhin mit Begeisterung. Das Zusammenstellen von Nachrichten, das mithilfe einer Papier- oder Acrylbuchstabentafel mehrere Minuten gedauert hatte, dauerte in manchen Fällen nur noch einige Dutzend Sekunden oder wenige Sekunden. Die offizielle Bereitstellung des Systems begann am 29. Mai. Außerdem wurde es von Patienten mit amyotropher Lateralsklerose (ALS) individuell eingesetzt.
Von der Buchstabentafel zur Satzvorhersage
Die aus japanischen Silben bestehende Buchstabentafel „Gojūon“ wird im Sichtfeld des Nutzers angezeigt. Der Cursor kann durch Kopfbewegungen oder mithilfe des Joysticks bewegt werden. Für die Eingabe gibt es zwei Optionen: die Auswahl jedes einzelnen Buchstabens oder die Auswahl einer Gruppe wie der „A-Zeile“ oder der „Ka-Zeile“ mit anschließender Eingrenzung der Auswahl auf eine Weise, die einer gleitenden Tastatur ähnelt. Das Personal bestimmt für jeden Patienten die geeignete Methode.
Nach der Eingabe von etwa zwei Buchstaben verwendet das System ein über Microsoft Azure verfügbares KI-Modell von OpenAI, um die folgenden Wörter oder Ausdrücke vorherzusagen. Nach der Bestätigung des Satzes wird dieser mithilfe des Dienstes Text to Speech in Sprache umgewandelt, damit Familienangehörige oder Pflegekräfte ihn hören können.
Die Kamera fügt der Nachricht Kontext hinzu
Das System beschränkt sich nicht auf die Texteingabe. Beim Auswählen des Kamerasymbols analysiert der Bilderkennungsdienst von Azure die von der Brillenkamera aufgenommene Szene und schlägt Namen von Gegenständen wie Vorhang, Bett und Fernseher vor. Anschließend kann die Nachricht mit Verben wie „einschalten“ oder „ausschalten“ vervollständigt werden. In anderen Beispielen erkannte das System Bücher, Obst und Personen, die vor der Kamera erschienen, und fügte passende Namen zur Vorschlagsliste hinzu.
Rocket Studio entwickelte das System über einen Zeitraum von dreieinhalb Jahren ab November 2022 mit einem Team aus einem Programmierer und einem Manager. Der stellvertretende Geschäftsführer des Unternehmens, Tomohiko Nakajima, sagte, die grundlegende Innovation bestehe nicht in einer vom Unternehmen entwickelten KI-Technologie, sondern im Design der Benutzeroberfläche: den Farben, den Schriftgrößen, der Anzahl der Eingabeschritte und der Möglichkeit, das System ohne Lesen einer Anleitung zu bedienen. Das Unternehmen nutzte seine Erfahrung in der Spieleentwicklung für den Aufbau der Benutzeroberfläche.
Was hat sich praktisch verändert?
Der Wert des Systems liegt darin, die Belastung zwischen dem Wunsch des Patienten, sich auszudrücken, und dem Eintreffen der Nachricht bei den Menschen in seiner Umgebung zu verringern. Zudem erleichterte die Verlagerung der KI sowie der Sprach- und Text-zu-Sprache-Dienste in die Cloud die Übertragung der Anwendung von der HoloLens 2, deren Produktion 2024 eingestellt wurde, auf MiRZA, ohne die grundlegenden Komponenten neu aufbauen zu müssen. Die wichtigste Anpassung beschränkte sich auf die Eingabe und Anzeige auf dem Gerät.
Die praktische Anwendung zeigte außerdem, dass die Steuerung durch Kopfbewegungen ermüdend sein kann, insbesondere für einige Rehabilitationspatienten im Rollstuhl. Daher fügte das Unternehmen nach einem Hinweis des Krankenhauses einen Joystick hinzu und konnte ihn innerhalb eines Tages integrieren. Die Anpassung der Erfahrung an jeden Patienten erfolgt über vorab festgelegte Textanweisungen, etwa indem einem Patienten, bei dem eine Stimulation der Augen vermieden werden sollte, mit der Beleuchtung oder den Vorhängen verbundene Ausdrücke angeboten werden. Das System lädt nicht die gesamte elektronische Patientenakte, sondern beschränkt sich dem Artikel zufolge auf die notwendigen Informationen.
Grenzen und offene Fragen
Die derzeitige Steuerungsmethode funktioniert bei einem ALS-Patienten, der nur noch seine Augen bewegen kann, nicht, da sie die Nutzung des Kopfes oder eines Fingers voraussetzt. Das bedeutet, dass die Nutzung beginnen sollte, bevor diese Fähigkeiten verloren gehen. Rocket Studio prüft, das System auf günstigere Geräte mit Blickverfolgung zu übertragen, sofern solche verfügbar sind. Außerdem erwägt das Unternehmen, eine künstliche Stimme hinzuzufügen, die die ursprüngliche Stimme des Patienten nachahmt, indem zuvor aufgezeichnete Äußerungen verwendet werden.
Der Dienst wird über Lizenzvereinbarungen verkauft, während der Preis bei einer Anfrage individuell festgelegt wird. Das Unternehmen plant eine kostengünstigere Version für die Rehabilitation zu Hause. Der Artikel erwähnt einen automatischen Filter für schädliche Inhalte in Azure, liefert jedoch keine quantitativen klinischen Ergebnisse oder betrieblichen Details zur Genauigkeit der Vorhersage und der Bilderkennung. Diese Punkte müssen vor einer Bewertung der Eignung des Systems für einen breiteren Einsatz überprüft werden.