筋協調運動を促す運動能力転写技術【運動能力転写技術の一形態】
筋電気刺激により、熟練者の筋肉の使い方を身体で直接学ぶことができる新たな運動学習を実現
技術背景・課題
IOWNによって実現する新たなリモートワールドにおいては、ローカル体験を遠隔で再現するのみならず、それを超える新たなユーザ体験が創出される世界であると考えています。私たちは、特に楽器演奏やスポーツのように身体運動を伴う教育・トレーニングを対象とし、これまで人と人がリアルで直接伝達・共有していた技能・身体技術を、時間と場所によらず伝達・共有できるようにすることで人間の能力拡張を可能とし、リモートワールドにおける新たなユーザ体験を創出することをめざしています。
本技術は運動における複数の筋肉の活動と、筋肉を電気刺激により収縮制御する筋電気刺激に着目したものです。筋電気刺激は1960年代頃からリハビリ等に、2010年代頃からユーザインタフェースとして研究されてきました。現状、指を動かすなどの単純な運動の生成に限られており、楽器演奏やスポーツにおける筋肉の使い方を教えるような、高度な運動スキルの学習支援に応用する方法は確立されていませんでした。
この実現に向け、複数の筋肉の協調運動が関わるような、高度な運動スキルを筋電気刺激によって学習可能とする技術を実現しました。
本技術は、様々なセンシング技術・信号処理技術・フィードバック技術を組み合わせ運動支援・身体拡張を研究開発している運動能力転写技術の一形態として研究開発を推進しています。(図1に運動能力転写技術全体と本技術の関係性を記載)
技術の内容・特徴
従来の筋電気刺激の手法では、熟練者のような効率的な身体の動かし方に基づいた運動を身につけることはできませんでした。本技術では、筋肉の協調を解析し、それに基づいて初心者が使えていない筋肉に電気刺激を行います。これに合わせて自身も運動することで、運動学習が促進され熟練者に近い筋協調運動を身に着けることが可能となります。ピアノ演奏を対象とした実験によって効果を測定するとともに、インタラクティブな遠隔教育への応用に向け、東京大阪間でのIOWN APN実証環境での動作同期性評価を実施しました。
技術目標・成果・効果
従来の筋電気刺激の手法では、身体の正しい使い方を考慮せず、指を動かす筋肉に電気刺激を流して自分の意志とは関係なく身体を動かす(不随意運動)ことで運動支援を行っていました。そのため、例えばピアノ演奏での適用に際しては、運指を教えることはできても熟練者のような効率的な身体の動かし方に基づいた演奏技法を身につけることはできませんでした。
本技術では、初心者が熟練者のような正しい身体の使い方を身につけられるように支援するために、以下の処理手順に基づいて電気刺激を制御することで上記課題を解決し、効果的な学習が可能な筋電気刺激の提示手法を実現しました。(図2にシステムイメージを記載)
- 熟練者と初心者の身体の使い方を解析するため、信号処理技術や非負値行列因子分解(非負値のみからなる行列を分解するという数学の手法で、筋肉の協調関係を明らかにする)を用いて、筋シナジー解析(どの筋肉同士が協調しているかを解析する手法)を行う
- 解析結果に基づいて、初心者が使えていない筋肉を選択し、インタラクティブに電気刺激の強度やタイミングを制御する
- 電気刺激によるインストラクションに合わせてユーザ自身も筋肉を動かすことで、運動学習が促進され、効果が定着する
例えば、ピアノ演奏を対象として具体的な例を説明します。トレモロ演奏(2つの音を交互に弾く)においては初心者は腕を回転させる筋肉(回外筋・回内筋)が使えていないことから、タイミングよく該当筋肉に電気刺激を交互に行いながら演奏練習をすることで、腕を回転させる感覚を自分の体で体験しながら練習することが可能です。また、スケール演奏(ドレミファソラシドを順に弾く)においては、ミからファに移る際に親指を大きく動かす指くぐりという動作が発生しますが、その際にタイミングよく肩を開く動作が重要です。これを筋シナジー解析によって分析し、肩の筋肉(三角筋)にタイミングよく電気刺激を与えながら練習することで、熟練者に近い筋協調運動を身に着けることが可能となります。
初心者のピアノ演奏を対象として、本技術を用いた場合と用いなかった場合の運動学習効果の比較を行い、テンポの正確性および音量の均一性を指標とする評価を実施しました。
のべ100名程度のピアノ初心者に対し、演奏技法としてトレモロ演奏、スケール演奏に対し、演奏時のトレモロ演奏における指定されたテンポとのずれ、スケール演奏における各音の音量のばらつきを評価指標としました。評価は、pre-post testにより、10分間の練習効果を定量評価しました。
その結果、テンポの正確性において約2倍の学習効果があり、音量の均一性においては本技術を用いた場合のみ学習効果を確認することができ、ピアノ教室等における遠隔教育の実現に向け効果的であることを確認しました。
さらに、インタラクティブな遠隔教育において重要な技術課題抽出に向け、IOWN APN実証環境において東京・大阪間約500kmを接続した際の動作同期性の評価を実施しました。(図3に検証の様子を記載)
両環境にモーションセンサと筋電気刺激装置を設置し、モーションセンサからのセンサデータ(手首角度情報)を伝送。これを受けて筋電気刺激装置により腕の筋肉を刺激し、手首がセンサ側と同じ角度となるよう制御。これを双方向で実施することで、お互いの動作が同期することを主観評価(遅延なく同期していると感じられる)および定量評価(角度情報ログの二地点での比較評価)にて検証実施しました。
その結果、映像のみでの動作同期と比較して、筋電気刺激を利用することで両者の動作間での遅延低減や角度誤差低減の効果が見られました。従来の映像のみでの遠隔指導に比べて、映像+筋電気刺激とすることで動作の一体感を向上させ、遠隔教育の価値向上に期待がある結果となりました。
想定される適用分野・PoC
本技術によって、複数筋肉の協調運動を意識できるようになり、結果として運動の質が向上することを期待できるため、楽器演奏やスポーツ等のトレーニングへの適用が考えられます。例えばプロやトレーナーの筋協調運動を解析し、それに近づけるための腕や肩への電気刺激を組み合わせた新たなトレーニングの実現を想定しています。
また、ピアノ教室における遠隔教室のように、映像や音声によって行われている運動教育・運動学習に筋電気刺激を加えることで、見た目や言葉だけでは伝えづらい運動のコツ(筋肉の協調動作)を直接筋肉に伝えられる新たな運動学習への適用も想定しています。
今後の展望
現在前腕や肩の運動を中心に筋電解析や筋電気刺激の対象としていますが、これを全身に広げ、立つ・歩くといった日常動作やスポーツにおけるスイング等全身運動への応用可能な技術として研究開発を進めてまいります。今後数年をめどにゴルフのパッティング等、具体的なユースケースを想定した全身運動支援技術の研究開発を進めてまいります。合わせて、社会実装に向けてはプロやトレーナーといった運動技能の専門家、音楽教室・スポーツジム等の教育・訓練機関、デバイスベンダー等のパートナーと連携し、フィールドトライアルや運用支援ツールの検討を議論してまいります。