身体モーション生成技術「Another Me®を構成する技術」NTT人間情報研究所

本技術はCGで作成した人物モデルに、ジェスチャや表情など会話時の動き（身体モーション）を自動的に付与する技術です。元となる特定の人物の音声・映像データから動作や表情の特徴を学習して、その特徴を反映した動作と表情を生成できます。これにより、対象の人物の個性や、会話の流れの中での感情を表現することができます。

近年、メタバースでのサービス・ビジネスの拡大や、新たな顧客接点の創出に向け、AIアバター・エージェントの利用が拡大しています。通常、これらのCGモデルのアニメーション制作には非常にコストが掛かる上、基本的には事前計測等により作り込んだ動作しか再現できません。このことは、特に、有名人や専門家などのAIアバターを作成するときや、様々な発話内容に応じて情感豊かに動作させたいときなどに問題になります。

• 発話音声のみから、その内容や抑揚に合った動作と表情を出力できるため、アバターや音声対話を行うAIエージェントの動きをリアルタイムに生成可能
• 話している時の身振り・手振りや表情における個人の癖を学習し、その人らしさを再現
• 元となる人物の特徴の再現性において、本物と見分けが付かないレベルを達成

• イベント等における芸能人等のAIアバターとファンのコミュニケーションや、著名人アバターによるバーチャル講演、バーチャルYouTuber等
• カリスマ営業・店員・講師などのAIアバターを使った新たな顧客接点
• メタバース内の個人のアバターやNPC（Non Player Character）の個性的な動作の生成

対象となる人物の映像・音声データを用意すれば、自動でその人物らしい身体モーションを出力する生成AIモデルを構築します。映像の代わりにモーションキャプチャデータを使用することで出力の精度を上げることも可能です。この生成AIモデルに対象人物が発話している音声を入力すると、それに合わせたその人らしい動作を自動で生成します。生成AIモデルを構築するまでの処理の流れは以下の通りです。まず、対象となる人物の発話時の音声データから音声認識技術により、発話テキストを抽出します。映像データからは、身体の関節や顔の特徴点の位置を姿勢推定技術等により自動抽出します。次に、音声データと発話テキストを入力として特徴点の位置を出力する生成AIモデルを構築します。これには、GAN（Generative Adversarial Networks）と呼ばれる深層学習技術を利用します。本技術は、人物の細かな癖までもとらえるため、学習時のデータを上手くリサンプリングする機構に工夫があります。その結果、その人らしさや自然さといった評価において世界最高性能を保持しています（2021年10月時点）。

NTT人間情報研究所　デジタルツインコンピューティング研究プロジェクト