人のヒューマニティに寄り添う「Project Humanity」の実現に向けてNTT人間情報研究所

ALS（Amyotrophic lateral sclerosis：筋萎縮性側索硬化症）が進行すると、認知機能は正常なまま、全身の筋力が徐々に機能を失っていきます。人工呼吸器をつけることにより、本来の生を全うできるといわれていますが、一方で、人工呼吸器をつけるための気管切開手術によって、声を失います。命をつなぐための選択が、声を出せなくなることにもつながってしまいます。音声言語と身体表現によるコミュニケーション手段を失うことから、社会との断絶を恐れ、生きる希望を失う人も少なくありません。世界的にみると、9割以上のALSの方が、人工呼吸器装着を拒否しているのが現状です。
これまで私たちは、音声合成技術を用いて、残されていた録画や録音の音声から、本人らしい声の再現に取り組んできました。本技術は、本人の声色を保ったまま、複数言語を話すことを可能とします。2022年度は、声を発することのできない日本のALSアーティストが、自らの声色で英語による対話と視線入力による音楽パフォーマンスを実現しました。そして2023年度は、わずかに動く身体機能を活かし、アバターを介した身体表現に挑戦しました。
アバターを介した身体表現に向けては、生体情報を基にした運動能力転写技術を用いました。芸術・先端技術・文化の祭典である「アルスエレクトロニカ・フェスティバル」のステージでは、ALSアーティストの意思でわずかに反応する自らの身体の動きによりメタバース空間のアバターを操作し、ALS進行前はDJとして観客を盛り上げてきたころの身体表現を、アバターによって再現し、会場を盛り上げました。
筋がわずかでも動けば、sEMG（表面筋電位）センサによりsEMGを計測できます。実際、ALSアーティストが、わずかに動かせる身体部位の身体位置情報とその部位の動作に寄与するsEMGを計測した結果を見ると、数mmの身体部位の動きに対してsEMGが観測されています（図1）。
また、ある身体部位を意図して動かそうとするときに、別の身体部位の筋も反応している場合があります。実際に、指示された身体部位をALSアーティストが動作させている区間（図の黄色の帯）において、別の身体部位の筋が反応している様子が観測されました。そのため、意図した身体部位の筋を抽出する技術として、安静時のような筋の脱力された状態をsEMGの基準値に設定するキャリブレーションと、筋収縮の動作判定に使用されるしきい値の設定を身体部位ごとに設定することがポイントとなります。本技術を活かしたALSアーティストによるDJパフォーマンスのステージでは、曲が流れた直後の安静状態を基準値となるように設定し、実際のDJパフォーマンス時の力みの状態に合わせてしきい値を設定しました。
さらに、EMGセンサにより計測された連続的なsEMGからメタバースへの操作命令に変換するうえで考慮すべきポイントは、筋疲労です。重度身体障がい者は、筋力および筋持久力が衰えるため、身体部位の動作を節約しながらメタバースへの意図した操作命令を実現することが必要です。そこで、筋を長時間収縮し続けることや筋収縮に強弱をつけることによる操作命令を避け、各身体部位の筋収縮の動作判定に応じて各操作命令が決定する方針にしました。加えて、各操作命令に対応するアバター動作が一定時間反映されるようにし、同じ操作命令を繰り返した場合、反映されるアバター動作時間が延長されるようにしました。一見、リアリティが失われ、効果的ではないと思われますが、本技術を実体験したALSアーティストは、自分が意図したとおりにアバターが動作していることで、自分自身の身体動作を通じてアバターを動作できていると実感していました。

認知症^*1では記憶や言語機能などの低下によりそれまで当たり前にできていたことができなくなり、日常生活を送るために支援が必要になります。認知症高齢者の増加に対し、介護人材が不足しており、一人ひとりに合わせた生活の支援が難しいことが問題となっています。今後の動向として、2023年6月の認知症基本法^*2の成立や2024年度に予定されている介護保険制度^*3の改定の影響を受け、認知症の問題を解決する技術の導入が加速していくことが予想されます。一方で、認知症の人を見守る技術は多いものの、認知症の人に働きかける技術はまだ少ないという現状があり、今、認知症分野の技術に取り組む意義は大きいと考えられます。
NTT人間情報研究所では、オーストラリアの西シドニー大学やディーキン大学と共同で、認知症の人が自分のことを自分でできるように促す情報提示技術の研究開発を進めてきました。具体的には、タブレット端末から認知症の人に対して日常生活に必要な作業に関する通知や手順を提示し、画像や音といった情報をどのように提示すれば作業を促しやすいのかを調査しました（図2）。
これまでの調査から、音声を使った促しが有効であることや、作業の複雑さや慣れに応じて適切に作業を分割して促すことが有効であることが分かりました⁽¹⁾。作業の分割方法に関してユーザの意見においても、一人ひとりの能力やこだわりに合わせて設定することが望ましく、従来のようにすべての人に対して一律に対応する支援システムでは十分ではないことが示唆される結果でした。さらに、認知症の人が自力で作業をやりきるために集中力のコントロールを可能にする通知のデザインや、ユーザが自分の生活スタイルに合わせてシステムをカスタマイズするためのインタフェースのデザインについても検討を行い、論文化を進めているところです。
以上に記載した共同研究の成果など、これまで得られた知見を踏まえ、今後の取り組みとしては、「自立」のさらに先にある「生きがい」や「共生」に対するアプローチに発展させていくための検討を新たに開始しています。具体的には、周囲の人との社会的つながりを維持するコミュニケーション支援や、認知症をポジティブに受け入れるための心理的変容の支援に資する技術の実現をめざして構想を練り直しています。現在の取り組み状況としては、アンケートやインタビューによる調査をとおして、認知症の人の視点を取り入れた課題の整理を行っているところです⁽²⁾。加えて、教育プログラムの枠組みで、地域の高校の生徒と一緒に、認知症の課題解決アプローチのアイデアを考案する取り組みも行っています。認知症の人や高校生と連携しながら取り組んでいくことで、認知症の人のヒューマニティに根ざし、未来の社会を担う人の認知症に対するヒューマニティに根ざした技術づくりを進めていきたいと考えています。将来的には、認知症の人の生活や人生を認知から心まで幅広く支えることができる介護ロボット^*4やICTへの適用をめざしています。

ニューロダイバーシティとは、脳や神経、それに由来する個人レベルのさまざまな特性の違いを多様性ととらえて相互に尊重し、それらの違いを社会の中で活かしていくことです。これは、職場のようなコミュニティを含む社会に対しては、相互尊重と相互理解を実現し、誰にとっても生きやすい環境を提供します。相互尊重と相互理解が実現したコミュニティにおいては、心理的安全性が高まり、メンバ間の情報流通も活発になることが想定されます。このような環境の変化により、企業においては、多様性と心理的安全性の高さをエンジンとして、より高い創造性を実現します。
NTT人間情報研究所は、特例子会社であるNTTクラルティと連携し、より多様性が高い職場において、心理的安全性を高め創造性を発揮するためのもっとも重要なポイントがミスコミュニケーションの解消にあるとの認識で一致しました。加えて、ミスコミュニケーションの最大の原因が、仕事時の会話において使われる曖昧な言葉にあり、その曖昧語の危険度を判断し、会議中に指摘することができれば、職場環境の大きな改善となるとの考えに基づき、危険な曖昧語を指摘するツールのプロトタイプの開発に取り組みました。さらに、プロトタイプの試用を通じて得た知見、例えば多様性の高い職場におけるツールが満たすべき性質の1つとして、既存の他ツール（Web会議ツールや、各種サポートツール）との親和性の高さが求められる、などを活かした改良を行いました。
プロトタイプの開発にあたっては、NTTクラルティとの議論を踏まえ、以下の設計思想で遂行しました。
・どのような立場の人も、同じ画面を見て、曖昧語の指摘が相互に確認できること。
・使っている中で、曖昧語の指摘に対してフィードバックできる機構を設け、指摘の基準等を柔軟に変更していけること。
・曖昧語の危険度判定では、ASD（Autism Spectrum Disorde：自閉スペクトラム症）傾向があるなどにより、コミュニケーションエラーが離職などの深刻な問題につながりやすいメンバに、より配慮する判定とすること。
・既存の多数の支援ソフトウェアとの相互干渉を抑えること。
・個人個人の特性に合った自由度の高い対話介入を設定できること。
曖昧語検出によるコミュニケーション支援ツールプロトタイプの画面を図3に示します。すべての発言は音声認識で文字起こしされ、その中から危険な曖昧語が発見された場合、危険度（障がい者雇用現場におけるサポート専門家の見解を参考に初期値を決め、ツールを試用した社員からのフィードバックを受けながら調整したミスコミュニケーションが起きた場合の深刻さの予測を数値化したもの）に応じて色・フォントなどを変更してポップアップで指摘し、曖昧語についてもっと詳しく議論するように促すといった介入を行いました。試用後のアンケート調査により、ツール利用者は、この介入により「明確な合意を得られやすくなる」「指示が分かりやすくなる」といったことから、自己効力感が向上したと回答しました（図4）。
今後は改良版ツールを用いて、使用感や効果について性能を確認していく予定です。加えて、継続的な当事者を含めた議論の継続により、対話の理解度やテーマ・仕事に対する慣れおよび集中度の把握をはじめとした、本人の内面状態に踏み込んだ追加機能を検討していく予定です。

後天的な脊髄損傷により四肢の麻痺が生じ、日常動作が困難となる人は年々増え続けています。日本国内だけでも年間約6千人が受傷しているといわれており⁽³⁾、脊髄損傷した方の運動を支援することは重要な課題となっています。この課題に対する世界的な取り組みとして、侵襲BCI（Brain Computer Interface）によって、自身の身体での運動を再建する研究が、医療機関を持つ研究機関を中心に進められています。侵襲BCIでは、脳と筋肉（または神経）にそれぞれ外科的に電極を埋め込み、脳情報の解析結果に基づいて筋肉に電気刺激をすることで運動の再建をねらいます。
NTT研究所では、各人の多様な生活様式は尊重しつつ、自身の身体を用いた主体的な運動が日常生活や社会生活におけるWell-beingの1つであると考え、特に食事などの日常動作で不可欠な腕の運動を再建する侵襲BCI技術の創出に取り組んでいます。具体的には、従来研究で達成されている手首の屈曲などの比較的単純な運動だけでなく、コップで水を飲むといった複雑な筋協調が必要な日常動作の再建をめざして、脳活動から、筋協調運動を再建する筋電気刺激を出力する技術の検討を行っています。
本技術の実現に向けて、損傷した脊髄が持つ筋協調のメカニズムである「筋シナジー」に基づいて、脳活動からどのような筋活動パターンの生成を意図しているか抽出するAI（人工知能）技術の開発に取り組んでいます。筋シナジーとは、運動時に現れる複数の協調した筋活動パターンのことで、脊髄にある複数筋を支配する神経を、脳が制御した結果生じると考えられています。この筋シナジーに基づいて脳活動から筋活動に変換するモデルを、腕が健常な状態の生体から得られる生体データから推定します。そして推定したモデルを脊髄損傷した生体のBCIシステムに組み込むことで、脊髄損傷により損なわれた筋協調機能を補い、複雑な筋協調が必要な運動を再建することが期待できます。
提案した筋シナジー推定手法の概要を説明します。従来、筋シナジーの推定は筋活動データのみから行われ、どのように協調したかという結果についての推定がなされてきました。私たちは、脳～脊髄～筋の神経接続を反映した筋シナジーの方が脳から制御しやすいと考え、筋活動データに加え、同時に取得された脳活動データも考慮して筋シナジーを推定する手法を開発しました。具体的には、筋シナジーを模した層を特徴とする深層学習モデルを利用して、脳活動を入力に筋活動出力を学習する過程で筋シナジーを推定する手法を提案しました。筋活動にかかわる脳領域（運動野）から得られるサルの皮質脳波（Electrocorticography）データと筋活動データを用いて従来手法との比較を行ったところ、従来手法と比較して高精度に筋シナジーを推定できることを確認しています。
今後は、推定した筋活動を実際の筋肉の活動として実現するために複数筋電気刺激手法の検討に取り組むとともに、筋シナジーモデルと組み合わせたBCIシステムを構築して実験を行い、筋協調運動の再建に効果があるかを確認していきたいと考えています。

現在、メンタルヘルス対策が社会的に大きな課題となっています。特に、うつ病（大うつ病性障害）は身近でありながら、日常生活への深刻な被害があることが知られています。例えば、日本人の100人に約6人はうつ病を経験したことがあるともいわれ、うつ病による社会的損失は約2兆円/年に達するとの調査結果もあります。さらに近年では、テレワークの普及や一人暮らしの増加などを背景にメンタル不調をきたすケースが増加しており、2013～2020年の間にうつ病患者が2倍以上に増加しているとの報告もあります。うつ病は重症になるほど治療が困難となるため、症状の早期発見と治療が重要ですが、周囲の人や本人がうつ症状になかなか気付くことができず、症状が悪化するケースが多いという課題があります⁽⁴⁾⁽⁵⁾。
NTT研究所では、日常生活の中からうつ症状をいち早く検出し、早期対処を促すことができるAI技術の実現をめざしています。その一環として、研究所で長年培ったメディア処理技術を応用し、特定の質問に反応する際の声や表情の反応から、うつ病の主症状である抑うつ気分を簡易に検出することができる技術の創出に取り組んでいます（図5）。
本技術の実現に向け、抑うつ気分のある人の音声・映像データの収集と解析を行いました。これまでに、抑うつ気分があると医師から診断された方々を含む、延べ100人以上の音声データを収集しました。これらの音声データから抑うつ気分のある人とない人の声の特徴を比較分析することによって、①感情表現の欠乏（普段の声と喜び・怒り演技時の声との差が小さい）、②認知機能の低下（質問への反応が遅れる、言葉数が少ない）、③調音機能の低下（早口で話すことが困難）といった特徴が表れることを明らかにしました⁽⁶⁾。さらに、これらの知見に基づき、抑うつ気分の検出に適した質問（発話タスク）を複数創出し、それらの有効性を確認しました（取り組み①）。さらに私たちは、抑うつ気分を検出することができるAIモデルの構築にも取り組んでいます（取り組み②）。特に、小規模のうつ症状音声データから高精度に抑うつ気分を検出するために、自己教師あり学習（Self-Supervised Learning）^*5と呼ばれる技術を応用したAIモデルの構築を進めています。この技術は、事前に大量の非うつ症状話者の音声をAIモデルに学習させておくことで、一般的な話し声の特徴をAIに獲得させることができ、うつ症状音声の特徴をAIモデルに学習させやすくする、というものです。
将来的には、抑うつ気分検出技術を活用し、日常生活を見守りつつ早期メンタルケアを促すことで、メンタル不調の予防・早期回復に貢献するサービスを実現したいと考えています。例えば、企業における社員のメンタルヘルス管理のシーンで、日頃のコミュニケーションの中からうつ病の疑いがある社員を早期発見し早期治療につなげ、うつ病による休職や退職を事前に防ぎ、企業の健康経営推進に貢献できるAIエージェントサービスを実現したいと考えています。

1. (1)M. J. Radnan, R. Brookman, S. Parker, L. Hoon, Hiroaki Kawata, Asuka Ono, and Celia Harris：“User interface preferences of assistive technology device for people living with dementia at home,” Poster presented at: MARCS Institute Conference: Ageing, Westmead NSW, Australia, August 2022.
2. (2)小野・山中・瀬古・松川：“認知症と共に生きる人が直面するコミュニケーションの問題に関する調査,”共創学会第7回年次大会, pp.66-69, 2023.
3. (3)N. Miyakoshi, K. Suda, D. Kudo, H. Sakai, Y. Nakagawa, Y. Mikami, S. Suzuki, T. Tokioka, A. Tokuhiro, H. Takei, S. Katoh, and Y. Shimada：“A nationwide survey on the incidence and characteristics of traumatic spinal cord injury in Japan in 2018，”Spinal Cord, Vol. 59, No. 626-634, 2021．
4. (4)https://oecd.org/coronavirus/policy-responses/tackling-the-mental-health-impact-of-the-covid-19-crisis-an-integrated-whole-of-society-response-0ccafa0b/
5. (5)佐渡：“うつ病による社会的損失はどの程度になるのか？―うつ病の疾病費用研究―,”精神神経学雑誌，Vol. 116, No. 2, pp.107-115, 2014．
6. (6)村田・安藤：“うつ症状検出に適した発話タスク選定に向けたうつ病患者の音声分析,”日本音響学会2023春季研究発表会, 3-4P-4, 2023．