一体感のある遠隔コミュニケーションを実現するため、複数の映像を縮小分割し1つの画面へ超低遅延に表示する超低遅延映像分割表示処理技術を確立しました。
【概要】
近年、生活スタイルが大きく変化し、社会のさまざまな活動のリモート化が進展しています。特に、演奏者が同じ場所に集まることなくネットワークを介したリアルタイム遠隔合奏や合唱のニーズが高まっています。この遠隔合奏や合唱において一体感を実現するためには、指揮者などの特定の人物だけでなく、演奏者同士のジェスチャーなどを相互に見て、演奏のタイミングを合わせることが必要です。
しかし、既存の映像コミュニケーションシステムであるWEB会議システムは数100ミリ秒程度の遅延があります。遅延を構成する3つの主な要因（コーデック/ネットワーク遅延、映像デバイス遅延、映像処理遅延）のうち、コーデック/ネットワーク遅延はAPN（All-Photonics Network）などを用いて、映像デバイス遅延は最新の低遅延デバイスを用いて削減することができますが、残りの要因である映像処理遅延を削減しなければ、結局は遅延を感じてしまい一体感の醸成は難しくなります。本技術では、複数の遠隔地の映像を1つの画面に分割して表示させる映像処理（映像分割表示処理）の低遅延化を行い、実証においては、システム全体（被写体の状態変化からモニタ表示まで）の遅延として20ms程度に抑えることに成功しました。（図1）。
図1 遠隔コミュニケーションの低遅延化の課題
【技術の特徴】
本技術は、APNの低遅延伝送と組み合わせ、映像処理部に適用することを前提としており、遠隔地の複数の映像をフレーム単位で処理するのではなく、届いた順に画面配置を制御しながら分割表示映像を出力するストリーム型のハードウェア処理を行うことで、フレーム待ち時間を低減しました（図2）。この本技術を実装した装置を試作し、4つの非同期のHDMI映像が装置に入力されてから、分割表示処理して装置から出力されるまでの時間が10ミリ秒程度以下で実現できることを確認しました。
また、遠隔合奏における効果を確認するために、NTT武蔵野研究開発センタ（センタ内の離れた場所に2拠点）、NTT横須賀研究開発センタ、NTT厚木研究開発センタの3つのセンタ・4つの拠点間において実験用ネットワークシステムを構築し、プロの演奏者による評価実験を行いました。実験の結果、分割表示された映像を基に他の拠点の演奏者の動きをリアルタイムに確認できるため、演奏のタイミングがずれることなく合奏できることが確認できました。また、指揮者や演奏者自身の体感評価においても映像の遅延のストレスなく合奏が実現できることを確認できました。
図2 全体システムと技術のポイント
