目次
リアルタイム遠隔セッションへの期待と求められる技術
感染症拡大を契機に私たちの生活スタイルが大きく変化し、社会のさまざまな活動のリモート化が進展しています。音楽エンターテイメントの領域でも、演奏者が同じ場所に集まることなくネットワークを介して遠隔セッションすることのニーズが高まっています。
リアルタイムの遠隔セッションの実現には、指揮者などの特定の人物だけでなく、演奏者同士のジェスチャーなどを相互に見て、演奏のタイミングを合わせることが必要です。そのためには、一方向ではなく、複数の拠点間で相互に音声のみならず映像についても遅延無くやり取りすることが重要です（図1）。しかし、リモートワークなどで使用されている従来のインターネットを用いたWeb会議では、ベストエフォート品質のネットワークのため映像伝送の遅延が発生するだけでなく、各拠点からの到着する複数の映像を1つのモニタの画面に統合して表示させる処理（多画面統合処理）にかかる遅延が大きくなることから、相互の演奏のタイミングを合わせづらく、遠隔セッションに適用することが困難でした。
超低遅延多画面統合処理技術vPresto
遅延要因のうち、映像伝送遅延についてはNTTが推進する大容量・超低遅延な光ベースのネットワークAPN（All Photonics Network）を用いて情報を圧縮することなく伝送することにより大幅に短縮することが可能です。残る映像遅延要因である多画面統合処理遅延を短縮する技術として、AS研では超低遅延多画面統合処理技術vPrestoを実現しました（図2）。
従来手法では、異なるタイミングで入力される複数の映像に対し、それらの全ての入力の1画面分のデータ（フレーム）が揃ってから統合処理をすることから、最後のフレームを待つ分の遅延が発生します。本技術では、各拠点からの映像をフレーム単位で処理するのではなく、届いた順に画面配置を制御しながら多画面映像を出力するストリーム型の処理技術を用いることで、フレーム待ち時間を低減し、超低遅延の多画面表示を実現しています。この多画面統合処理技術を実装した装置では、FPGA（Field Programmable Gate Array）を用いたハードウェアで処理させることで、4つの非同期のHDMI映像が装置に入力されてから、統合処理して装置から出力されるまでの時間を10ミリ秒程度以下で実現できることを確認しました。
これにより、処理を含めたEvent-to-Eye（被写体の状態が変化してから表示するまで）の映像遅延を短縮することができ、複数の離れた拠点間でタイムラグを感じず相互の映像をやり取りできるシステムを構成できます。
遠隔地点間でのリアルタイム遠隔セッションを実証
実際の遠隔合奏における本技術の効果を確認するために、NTTの武蔵野（離れた場所に2拠点）、横須賀、厚木の3つの研究開発センタ間において、それぞれの拠点で演奏する模様を撮影したHDMI映像を圧縮することなく伝送し、これらをストリーム型で多画面統合処理した映像を再び各拠点に非圧縮で送って演奏者※に表示する実験用ネットワークシステムを構築しました（図3）。この実験構成の遅延特性を測定したところ、従来のインターネットを用いたWeb会議では多画面統合処理を含めたEvent-to-Eyeの全体の遅延として数100ミリ秒程度かかっていたのに対して、この技術を適用したシステムによれば20ミリ秒程度以下まで短縮できることを確認しました。
実験は、指揮者（武蔵野1）、第1ヴァイオリン（武蔵野2）、第2ヴァイオリン・ヴィオラ（横須賀）、チェロ・コントラバス（厚木）の配置で、各拠点において、モニタで多画面映像を見ながら遠隔で演奏する形態としました。
まず比較のために、高遅延の映像遅延（150ミリ秒）を模擬した環境で遠隔合奏した場合には、多画面表示された映像と実際の動作との間にタイムラグがあるため拠点間で演奏の映像タイミングが合わず、一体感のある合奏を行うことが困難でした。一方、本技術を用いた場合には、多画面表示された映像を基に他の拠点の演奏者の動きをリアルタイムに確認できるため、演奏のタイミングがずれることなく合奏できることが確認できました（図4）。
更に、演奏者の方々へ遠隔合奏の体感をインタビューしたところ「映像の遅延を感じなかった」、「複数拠点の映像を同時に確認できて演奏がし易かった」といった意見が得られました。
以上より、本技術を用いることで、リモートでも映像の遅延のストレスなく合奏が実現できることを確認できました。
まとめ
本実証実験の評価を通じて、離れた場所同士でも遅延を感じず一体感が得られる新しいスタイルの遠隔映像コミュニケーションを実現できることを確認しました。本技術は、音楽セッションのみならず、ダンスレッスンやリハーサルにおいても活用することが可能です。超低遅延な遠隔映像コミュニケーションによる新しいエンターテイメント体験の提供を目指し、本技術の研究開発を進めて参ります。
関連する記事
ニュースリリース
- リアルタイム遠隔セッションを実現する超低遅延の映像分割表示処理技術の実証～離れた場所でも演奏者同士の一体感のある演奏スタイルの実現へ～【2022年3月4日】
- 超低遅延のリアルタイム映像コミュニケーションの実現に向けた遠隔合唱実証実験～ 離れていても同じ場所にいるような音楽イベント実現へ ～【2022年12月1日】
- 国内初！文化芸術分野における新しい共創・鑑賞モデルの実現可能性を検証する低遅延通信技術を活用したコンサートを開催 Bunkamuraオーチャードホール－NTTインターコミュニケーション・センター[ICC]間でのリアルタイム・リモート演奏【2022年3月24日】
- 離れた会場の熱気を伝える低遅延通信技術を活用したリアルタイム・リモート演奏を実施 ～「第179回 NTT東日本 N響コンサート」にて、東京オペラシティ コンサートホール－ドルトン東京学園間の両会場での演奏と観客の手拍子を双方向で伝送～【2022年11月7日】
- 東京-大阪-神奈川-千葉をIOWN APN関連技術でつなぐリアルタイム・リモートコンサート「未来の音楽会Ⅱ」を開催【2022年12月22日】
- 教育の未来を拓く！IOWN構想のユースケース実証 超低遅延×長距離映像伝送で実現する、複数拠点・複数視点のダンスレッスンと合同ダンス【2024年11月14日】
R＆Dアーカイブ記事
遠隔セッションで一番の敵は「タイムラグ」なんだよね。映像がちょっと遅れるだけで合奏がバラバラになっちゃう。
たしかに、映像がズレてたら指揮者の動きに合わせづらそう...。
そこで、映像を統合表示する処理を工夫して、その待ち時間をほとんどなくす仕組みを作ったんだ。
そだから、離れていても同じステージにいるみたいな感覚で演奏できるんだね。
こういう技術があれば、音楽の楽しみ方ももっと広がりそうだね。