更新日：2021/02/05
奥行推定と画像領域分割の融合によるデプスマップの精度向上技術NTTサービスエボリューション研究所
※記事本文中の研究所名が、執筆・取材時の旧研究所名の場合がございます。
NTT技術ジャーナル2021年1月号：特集「現実空間とサイバー空間をナチュラルにつなぐ境界としてのメディア・ロボティクス技術の取り組み」より
小野 正人（おの まさと）/ 菊地 由実（きくち ゆみ）/ 佐野 卓（さの たかし）/ 深津 真二（ふかつ しんじ）
奥行推定と画像領域分割の融合によるデプスマップの精度向上技術の概要
デプスマップ（深度マップ）とは、画像の各画素に対してカメラからの距離を表現したものであり、さまざまな用途で活用されています。身近な例では、スマートフォンで写真撮影をした際の、距離が遠い背景をぼかすような写真加工や、自動運転の分野における車両周辺の物体検出などに活用されています。
私たちは、「エンタメ分野における3D表現」をターゲットとし、新たに3D撮影するものだけでなく、既存の2Dコンテンツも3Dコンテンツ化可能とするためのメディア処理技術の研究開発に取り組んでいます（図1）。本技術は、2D映像から精度の高い奥行き情報を生成する「デプスマップ生成技術」と、効果的な3D表現等のためにデプスマップを補正する「デプスマップ最適化技術」から構成されます。
技術のポイント
■デプスマップ生成技術
デプスマップを得る手法としては、ステレオカメラにおけるカメラ間の視差を活用する手法、カメラ映像と外部機器（LiDAR等）の情報を組み合わせる手法、各種画像処理により生成する手法などが挙げられます。近年、既存の2Dコンテンツからデプスマップを生成する際に用いられる手法としては深層学習を活用するものがありますが、一般的に生成されるデプスマップの解像度は低く、また被写体の輪郭がクッキリとしたデプスマップを得ることはできませんでした。ここで、 4K・8Kといった高解像度なアーカイブ映像に適用する場合、デプスマップも高解像度かつ品質の高いものを得る必要があります。
そこで、デプスマップの補正手法として提案されている、原画を用いたエッジ保存平滑化手法(1)、(2)を参考に、映像中の各被写体の輪郭をよりクリアにし、効果的な3D表現を実現する手法として、「セグメンテーション結果を用いたエッジ保存平滑化」による、デプスマップの精度向上手法（図2）を提案します。具体的には、デプス推定で得た解像度の低いデプスマップに対して、セグメンテーション結果画像をガイドとするフィルタ処理を行うことにより、デプスマップの解像度を向上しつつ、被写体に含まれるオブジェクトのエッジを保存することを可能とします。このとき、セグメンテーション結果としては、オブジェクトに加え背景部分も各要素で分離できるよう、セマンティックセグメンテーションとインスタンスセグメンテーションを足し合わせたパノプティックセグメンテーションを利用しています。
本手法においては、デプス推定およびセグメンテーションは疎な関係となっているため、各処理のアルゴリズムは適宜変更することが可能です。例えば、現状ではデプス推定およびセグメンテーションには深層学習のアルゴリズムを用いていますが、その他のアルゴリズム、例えば自己教師あり学習のアルゴリズムなどに交換することも容易です。…
■参考文献
- (1)K.He, J.Sun, and X.Tang：“Guided Image Filtering，”ECCV 2010, Heraklion, Greece, Sept. 2010.
- (2)G. Pestschnigg, R. Szeliski, M. Agrawala, M. Cohen, H. Hoppe, and K. Toyama：“Digital photography with Flash and no-Flash image pairs,” ACM Transactions on Graphics, Vol. 23, No. 3, pp. 664-672, August 2004.