更新日：2021/02/05
リモートの観客どうしの一体感を増幅する「情動的知覚制御技術」NTTサービスエボリューション研究所
※記事本文中の研究所名が、執筆・取材時の旧研究所名の場合がございます。
NTT技術ジャーナル2021年1月号：特集「現実空間とサイバー空間をナチュラルにつなぐ境界としてのメディア・ロボティクス技術の取り組み」より
佐野 卓（さの たかし）/ 巻口 誉宗（まきぐち もとひろ）/ 長田 秀信（ながた ひでのぶ）/ 瀬下 仁志（せしも ひとし）
背景
新型コロナウイルス感染症拡大の影響により人々の移動や対面のコミュニケーションが制限される一方で、人のさまざまな活動のリモート化が急速に進展しつつあります。スポーツやエンタテインメント分野においても同様に、無観客によるスポーツ中継やライブ配信イベントが増えつつありますが、現状ではスタジアムやライブ会場だからこそ体感できる迫力や非日常感を遠隔視聴で体感できるまでには至っていません。
NTTサービスエボリューション研究所ではこれまで、精錬なリアルタイム被写体抽出技術(1)、(2)や超ワイド映像合成技術(3)とAdvanced MMTによる映像・音声の同期伝送技術(4)、人の知覚心理を活用した裸眼3D映像表示技術(5)などにより、会場の空間をまるごとセンシングし、現地の臨場感や熱狂をそのままに遠隔地のライブビューイング会場へ伝送・再現する技術の研究開発に取り組んできました。しかし、スタジアムやライブ会場などでは現地での参加が制限され、遠隔地ではライブビューイングのような大きな会場ではなく、自宅などのより小規模で独立した環境へと変化している状況下では、その場での熱狂、盛り上がりを伝えるだけでは十分でなく、会場の臨場感に加えて遠隔の観客どうしのつながりや相互作用から生まれる「一体感・対話性」により、「盛り上がり感」を高めることが期待されます。
そこで私たちは、簡易なデバイス等を利用して観客の情動をとらえ、その変化に応じて適切な情報提示を行う「情動的知覚制御技術」の研究開発に着手し、その要素技術を確立することで、遠隔からの視聴であっても、あたかもスタジアムやライブ会場に多くの人と集まって一緒に視聴しているかのような体験の実現をめざしています。
情動的知覚制御技術
情動的知覚制御技術は、リモートで視聴している視聴者の反応とその場の状態を同期取得するフィールドセンシング技術、任意の場所にいる多数の視聴者を空間的に自然なかたちで再配置し仮想的な視聴空間モデルを生成するウルトラリアリティ・フィールド生成技術、仮想的な視聴空間モデルにおいて視聴者それぞれの状態に呼応して他者の情動変化を遅滞なくフィードバックするフィールド再現技術の3つの技術に大別されます（図1)。
以下に各技術について説明します。…
■参考文献
- (1)宮下・竹内・長田・小野：“4K映像のための高速な被写体抽出，”信学技報，Vol. 117, No. 73, MVE2017-13, pp. 189-190, 2017．
- (2)柿沼・長尾・宮下・外村・長田・日高：“機械学習を用いた任意背景リアルタイム被写体抽出技術，”NTT技術ジャーナル，Vol. 30, No. 10, pp. 16-20, 2018．
- (3)山口・佐藤・小野・外村・難波・菊地・星出・森住・小野・南：“高臨場感ライブビューイングサービスのためのサラウンド映像合成・同期伝送システム，”映像情報メディア学会誌, Vol. 74, No. 2, pp. 402-411, 2020．
- (4)小野・星出・深津：“Advanced-MMT（MPEG Media Transport)を用いた複数映像・音声・照明制御信号の同期伝送システム，”映情学技報, Vol. 44, No. 7, BCT2020-39, pp. 33-36, 2020.
- (5)M. Makiguchi, D. Sakamoto, H. Takada, K. Honda, and T．Ono:“Interactive 360-Degree Glasses-Free Tabletop 3D Display，”Proc. of UIST 2019, pp. 625-637, New Orleans, U.S.A., Oct. 2019.