リアルタイム遠隔セッションを実現する超低遅延の映像分割表示処理技術NTTアクセスサービスシステム研究所

演奏者が同じ場所に集まることなくネットワークを介してリアルタイムで一体感のある遠隔セッション実現にするには、低遅延な映像処理が必要です。本技術では、複数の遠隔地の映像を１つの画面に表示する処理（分割表示処理）を超低遅延化し、実際に武蔵野・横須賀・厚木のそれぞれの拠点でプロオーケストラによるPoC(proof of concept)実験を行い、映像の遅延のストレスなくリアルタイム遠隔合奏が実現できることを確認しました。

演奏者が同じ場所に集まることなくネットワークを介してリアルタイムで一体感のある遠隔セッションを実現にするには、指揮者などの特定の人物だけでなく、演奏者同士のジェスチャーなどを相互に見て、演奏のタイミングを合わせることが必要です。しかし、リモートワークなどで使用されている従来のインターネットを用いたWeb会議では、映像伝送の遅延と、複数の遠隔地の映像を１つの画面に表示する処理（分割表示処理）にかかる遅延が大きくなることから、相互の演奏のタイミングを合わせづらく、遠隔セッションに適用することが困難でした。

• 効果：従来できなかった映像に合わせた一体感のあるリアルタイム遠隔セッション/コラボレーション
• 技術：非同期カメラ信号に適⽤可能な超低遅延のストリー ム型映像分割表示処理

• 遠隔合奏（コンサート、練習、レッスン）、遠隔応援、遠隔パフォーマンス、遠隔操作/操縦等

本技術では、従来のweb会議システムの遅延要素の⼀つである、複数拠点から届けられる複数の映像の分割表示処理の超低遅延化を実現しました。

本技術に、IOWNの光ベースのネットワーク（APN: All Photonics Network）における非圧縮映像伝送等による低遅延伝送を活用することで、分割表示処理も含めたEvent-to-Eye（被写体の状態が変化してから表示するまで）の映像遅延を短縮することができ、複数の離れた拠点間でタイムラグを感じず相互の映像をやり取りできるシステムを構成できます。

従来手法では、異なるタイミングで⼊⼒される複数の映像に対し、それらの全ての入力の1画面分のデータ（フレーム）が揃ってから分割表示処理をすることから、最後のフレームを待つ分の遅延が発生します。本技術では、届いた順に画面配置を制御しながら分割表示映像を出力するストリーム型の処理技術により、フレーム待ち時間を低減し、超低遅延の映像分割表示出力を実現しています。この処理技術を実装した装置では、FPGA（Field Programmable Gate Array）を用いたハードウェアで処理させることで、4つの非同期のHDMI(High Definition Multimedia Interface)映像が装置に入力されてから、分割表示処理して装置から出力されるまでの時間が10ms程度以下であることを確認しました。

また、この技術を利用し、プロオーケストラによる遠隔合奏のPoC実験を行い、映像遅延のストレスなく合奏できることを確認できました。なお、Event-to-Eyeの遅延は、従来のWeb会議システムが数100msに対し、20ms程度以下でした。

実験動画をこちらで公開しています

NTTアクセスサービスシステム研究所　アクセスサービスシステムプロジェクト