更新日:2021/12/17

    賢く・すばやく被写体を切り出します深層学習を用いた被写体抽出技術NTT人間情報研究所

    概要

    深層学習を用いて被写体を学習させることで、様々な環境における様々な見た目の被写体を柔軟に抽出することが可能です。比較的シンプルな講演中継などの場面だけではなく、照明が変化するような舞台芸術のシーンおいても、所望の被写体のみをリアルタイム且つ精緻に抽出します。

    背景・従来課題

    映像中の特定の被写体を分離する被写体抽出技術は、コンテンツ制作や映像コミュニケーション分野への応用が可能であり、多くの取り組みがあります。NTTでは、舞台芸術等をはじめとするエンターテインメント分野や、講演中継などのエンタープライズ分野、競技会場で行われる試合中継などのスポーツ分野において、あたかも演者・競技者が視聴者の目の前にいるかのような高い臨場感が得られる通信技術の研究開発を進めてきました。被写体抽出技術はその中核技術の一つとして位置付けています。任意の背景下で撮影した映像から、リアルタイム且つ精緻に被写体のみを抽出することは非常に難易度が高いため、単色の背景(グリーンバック等)を用いて撮影する方法が一般的ですが、本技術は、深層学習によってあらかじめ抽出対象となる被写体を学習させることで、これを可能としています。

    本技術のアドバンテージ

    • 深層学習を用いることにより、背景変化に対して頑健で境界領域が精緻な被写体抽出を実現
    • 独自のアルゴリズムにより、解像度がFull HDから4K UHDの映像に対して高速な被写体抽出が可能

    利用シーン

                          
    • 舞台の映像から役者だけを抽出し、別の実写映像やCG映像と組み合わせることで、舞台における新しい映像演出に活用
    • スポーツ競技の映像から選手だけを抽出し、実物大で表示可能なステージに投影することで、現場さながらの感動を共有
    • 放送やエンターテインメント等の映像制作において、クロマキー用スクリーンの設置が困難な場所で撮影した映像に対して適用し、被写体抽出映像の制作を効率化
    • 講義や基調講演などのシーンにおいて登壇者のみを抽出し、別会場のスクリーンへの投影や別映像との合成を行うことで、遠隔地での視聴体験の質を向上

    解説図表

    担当部署

    NTT人間情報研究所 サイバー世界研究プロジェクト

    関連するコンテンツ