声を出せない患者がメガネで語り始めた､沖縄の病院と札幌のゲーム会社がAIで変えた病室の会話

気管切開で一時的に声を出せなくなった患者の言葉を、與那城氏は覚えている。このシステムを体験した際、「あのときこのツールがあれば、家族との会話や自分の要望をもっと伝えられたのに」と語ったという。薬やケアの選択さえ、人に委ねるしかなかった時期を経ての言葉だ。

メガネをかけると、視界に言葉の候補が浮かぶ

実証で使われたシステムは「CommunicationBoard+AI」という。札幌のゲーム開発会社ロケットスタジオが開発し、NTTドコモ傘下のNTTコノキューデバイスが手がける国産スマートグラス「MiRZA」で動く。

ロケットスタジオが開発した「CommunicationBoard+AI」。スマートグラス「MiRZA」と親指で倒すジョイスティック、ペアリングするスマートフォンで動く（画像：日本マイクロソフト）

患者がメガネをかけると、視界に50音表が浮かぶ。頭の動きか、親指で倒すジョイスティックで文字を選んでいくと、2文字ほど入れた時点でAIが続く言葉を予測し、候補を差し出す。メガネのカメラで室内を撮影すれば、カーテンやテレビを認識して関連する言い回しの候補も並ぶ。文が決まれば、合成音声が代わりに話す。予測も画像認識も音声化も、動いているのはマイクロソフトのクラウドAIだ。

メガネをかけた患者の視界。「あしたの検査」まで入力すると、「痛みを抑えたい」「体位変更をお願い」など続く言葉の候補が並ぶ（画像：日本マイクロソフト提供の動画より）

メガネのカメラで室内を撮影した直後の画面。「ブラインド」「壁」「コート掛け」「ハンガー」「天井」と、写ったものの名前が候補として並ぶ（画像：日本マイクロソフト提供の動画より）

候補は患者ごとに調整できる。「光に敏感な患者」といった予備知識をアプリにあらかじめ登録しておくと、その患者に合った候補が先に出る。ただし、カルテを直接読み込ませているわけではない。カルテは個人情報の塊であり、AIに扱わせるのは難しいためだ。