人と環境が調和したスマートな世界を実現するICTの研究開発の取り組み
人の本来の活動を邪魔しない自然なやり取りによる情報提供を実現するナチュラルコミュニケーション技術
NTTサービスエボリューション研究所

嵯峨田 淳(さがた あつし)/佐野　卓(さの たかし)/日高 浩太(ひだか こうた)/佐藤　隆(さとう たかし)/深津 真二(ふかつ しんじ)/向内 隆文(むこうち たかふみ)/長田 秀信(ながた ひでのぶ)

私たちはこれまでに、離れた場所にいる人やモノの情報を伝送し、それらをまるごと遠隔地で再現することで、あたかも被写体が私たちの目の前に存在しているかのような体験の提供をめざしてきました^(1)、(2)。高度に知能化されたアプリケーションやサービスが人々の生活に浸透し、VR(Virtual Reality)/AR(Augmented Reality)がより身近になりつつある現在、私たちは視聴者に提供する体験の幅をさらに広げ、また、より自然(ナチュラル)な体験を提供したいと考えています。このとき、どこかにある人やモノの情報を忠実に再現する、というだけにとどまらず、投影される映像や音声を通じて実物と見まがう存在感までもが感じられ、いわば命が吹き込まれたかのような被写体をつくり出し、現実を超越した体験を価値として創出することをめざします。
このような体験を提供するために、どのような観点が重要となるのかを考察します。対象を正確に表現することは大変価値のあることですが、あえて変形や誇張を加えることで、よりインパクトある表現となる場合があります。例えば、葛飾北斎は、富嶽三十六景「神奈川沖浪裏」において、波がまさに動いている様を静止画で表現しています。波に動きを与えた独自の表現によって、写実的な絵画や写真で見るものよりも、波の力を感じる方もいらっしゃるのではないでしょうか。ある人が頭でイメージする大波の情景が、写真で見る波のそれよりも遥かに力強いものであったならば、北斎の絵画は現実を超越したリアルな体験をもたらしていると考えられます。

情報社会の到来は、現実空間のさまざまなものをデジタル化して利活用することを可能にし、本物を電子的に精緻に表現する取り組みを一般化しました。一方、内閣府では、狩猟社会(Society 1.0)、農耕社会(Society 2.0)、工業社会(Society 3.0)、情報社会(Society 4.0)に続く、新たな社会Society5.0を、サイバー空間(仮想空間)とフィジカル空間(現実空間)を高度に融合させたシステムにより、経済発展と社会的課題の解決を両立する、人間中心の社会、と定義しています⁽³⁾。すなわち、Society 5.0にかんがみれば、現実空間に存在する実物を精緻に模倣することに加え、現実と仮想との融合によって、現実を超越することが期待されているといえます。

現実と見まがう存在感を視聴者が感じ取ることができるような被写体映像の創出、あるいは本物を超越したような被写体を表現する、という観点においてポイントとなる技術としては、近年研究が進んでいる敵対的生成ネットワークGAN(Generative Adversarial Networks)が挙げられます⁽⁴⁾。この技術により、実写と見まがうような品質のCG画像の生成が現実になりつつあるほか、特徴を変換する処理により、1つの入力画像の特徴を反映した、全く別の画像を生成することができるようになりつつあります。これらの技術によれば、例えば人をセンシングして、動物の姿を生成するようなタスクの処理が可能となります。歌舞伎の演目の1つである「連獅子」では、谷を駆け上がる子獅子と見守る親獅子の演技を通して、親子の情愛が表現される場面がありますが、ここで歌舞伎役者の動きをセンシングし、その結果から真の獅子の姿を描き出すことができれば、舞台を見ている視聴者が想像するイメージを描き出すことができます。このとき、獅子を写実的にライオンで表現しても効果的ですが、歌川広重の描いた「獅子の児落し」が現実に目の前で起こったことのように体感することができれば、それは現実を超えた体験といえるかもしれません。
また、画像処理技術によって生成した情報を提示した際に、それらに命がふきこまれているかのように視聴者が感じるためには、生成物がセンシング対象を模倣したものではないと、ユーザに体感いただくことが重要です。模倣だと認識されると、生成された被写体への感情移入が困難となります。大変チャレンジングな課題ですが、生成された被写体が自律的に動作しているような視聴体感につなげるための技術が必要です。現在、骨格に基づいて人の姿勢を予測する研究が始まっており、あらかじめ学習された動作や、ある程度形の決まった、再現性のある動作を対象に、少し未来の姿勢を推測することができます。私たちは、センシング対象の被写体を自然かつ自律的に動作させ、例えば実在の人物とのインタラクションにおいて、処理の遅れなどを全く気にすることのない自然なやり取りの実現をめざします。

これらの実現に向け、私たちはナチュラルコミュニケーション技術の研究開発を推進します。ナチュラルコミュニケーション技術は、次の5つから構成されています。

1. 現実とみまがう空間・被写体などを自在に創出し、現実を超越し人間がイメージしているものを生み出す「空間創出技術」
2. 伝送や処理等における物理的遅延を減らすだけでなく、人が感じる遅延による違和感といった感覚的遅延までをもゼロにする「ゼロ・レイテンシメディア技術」
3. 2Dと3D表示をどちらも自然に見ることができる「2D・3D映像表示技術」
4. 現実と仮想空間の自然なインタラクションを実現する「ナチュラルインタラクションのための提示技術」
5. 人への直接的かつ自然に働きかける、五感+αを伝送・提示するための新たな取り組み

空間創出技術は、得られたセンシングデータ以上のデータを過去の同様のシーンや人物の形状を考慮することで推定する技術です。私たちはこれまでに、深層学習を用いて2D映像から3D空間情報(CGモデル)をリアルタイムに生成する技術を開発してきました(図1)。本技術は、ニコニコ超会議2019「超歌舞伎 Supported by NTT 今昔饗宴千本桜」⁽⁵⁾で実際に利用しており、2D映像には3D情報は内包されていませんが、過去の同様のシーンを基にしてリアルタイムに3D情報を生成し、超歌舞伎の登場人物を別のCGキャラクタへと“変身”させることで、超歌舞伎ならではの新たな演出を可能としました。
今後は、3D空間情報(CGモデル)と被写体抽出技術等を組み合わせることで、別の実写映像へと“変容”することにも取り組んでいくことを考えています。

遠隔地への通信や、VR/ARなどによる仮想世界とのインタラクションにおいて、伝送や処理等における物理的遅延は自然なインタラクション実現における大きな課題となっています。これまで、この物理的遅延を減らす努力を行い、ある程度実用化が進んでいますが、光の速さをもってしても遅延を物理的にゼロにすることはできません。そこで私たちは、自然なインタラクションを実現するために、物理的遅延をゼロにするだけでなく、人が感じる遅延による違和感をなくし、感覚的遅延までをもゼロにする技術が必要になると考え、「ゼロ・レイテンシメディア技術」の研究に取り組んでいます。…

1. (1)長田・宮下・柿沼・山口：“任意背景リアルタイム被写体抽出技術、”NTT技術ジャーナル、Vol.29, No.10, pp.33-37, 2017.
2. (2)長尾・宮下・佐野・長谷川・井阪：“Kirari! for Arena：奥行感のある4方向イベント観覧体験の創造、”日本画像学会誌、Vol.58, No.3, pp.306-315, 2019.
3. (3)https://www8.cao.go.jp/cstp/society5_0/index.html
4. (4)I. J. Goodfellow, J. P. Abadie, M. Mirza, B. Xu, D. W. Farley, S. Ozair, A. Courville, and Y. Bengio：“Generative Adversarial Networks, ”Proc. of NIPS2014, pp.2672-2680, Motreal, Canada, Dec. 2014.
5. (5)https://group.ntt/jp/newsrelease/2019/03/25/190325b.html