2次元表示との互換性を持つステレオ映像生成技術 「Hidden Stereo」NTTコミュニケーション科学基礎研究所

通常のステレオ映像は、ディスプレイ上では左目用と右目用の映像が重なって表示されており、3Dメガネをかけることでこれらが左右の眼に分離されて届きます。しかし、3Dメガネをかけずにステレオ映像を見ると、異なる視点からみた映像同士が重なり合うことでぼけや2重像が生じてしまいます。そのため、視聴者は2D映像を楽しむか3D映像を楽しむかによって、表示方法を選択する必要があります。もし、複数の視聴者の中に一人でも3D映像を楽しめない人が含まれていれば、3D映像表示の選択は避けなければなりません。また、3D映像の視聴中に疲れてしまっても、自分だけ2D映像に切り替えることはできません。

私たちは、人間の知覚の仕組みを利用して、2D映像内に3D情報を隠して埋め込む技術を開発しました。従来のステレオ映像は、3Dメガネを外してみるとぼけや二重像が見えてしまうという課題がありました。この技術を用いると「3Dメガネをかけない視聴者には2D映像がクリアに見え、メガネをかけた視聴者には自然な3D映像が見える」というようなステレオ映像を生成することができるようになります。

• メガネをかけない視聴者はクリアな2D映像が見られ、メガネをかけた視聴者は自然な3D映像が見られる
• 映像（コンテンツ）を置き換えるだけで済むため、既存の3D映像表示機器（3Dテレビ・3Dプロジェクターなど）はそのまま使用できる
• 既存のステレオ映像を2D互換のステレオ映像に変換できる
• 3Dプロジェクタで実物体の表面に奥行き情報を埋め込める（メガネをかけると奥行きがついて見え、かけないと元の見た目のまま）

• 家庭や映画館での利用：3Dで見たい人はメガネをかけて、2Dで見たい人はメガネをかけずに、同じ画面で同じコンテンツが楽しめる
• 奥行き情報の補助的な利用：普段はメガネなしで2D映像として作業し、2Dだけでは見分けにくい部分を見るときに、ルーペを使う感覚で3Dメガネを使う
• 美術館での利用：オリジナルの2D作品と、奥行きをつけた改変版を同時に展示

本技術では、両眼のちょうど中間の視点から見た時の2D画像に対し、人間に奥行き情報を与える働きをする視差誘導パターンを加算／減算することで左目用／右目用画像を生成します。左右画像同士を足し算すると視差誘導パターンが打ち消されて完全に元の画像に戻るため、3Dメガネをかけない視聴者はクリアな2D画像を見ることができます。一方、メガネをかけた視聴者には、視差誘導パターンの効果でその画像に奥行きがついているように見えます。

この視差誘導パターンは、人間が奥行きを感じるのに必要最低限の情報を、うまく隠して埋め込めるようにデザインされています。人間の脳内の視覚システムは、左右の目に入った画像間の空間的な位相のずれを計算することで、奥行きを知覚します。本技術では、元の画像に加算／減算することで画像の空間的な位相がずれるように視差誘導パターンを生成しています。加算／減算によって生じる左右画像間の位相ずれの量は、知覚される奥行き量に対応します。本技術では、与えたい奥行き量を表す視差マップを入力として与えるか、異なる視点から撮影した2枚のステレオ画像ペアを入力することで、自動的に適切な位相ずれが得られるように視差誘導パターンを生成できます。

視差
2つの異なる視点から見たときの画像間の差異のこと。

位相
ここでは、空間的な位相を指す。画像の明暗の周期的な変化を波として捉えたとき、1つの周期中の位置を表す。

NTTコミュニケーション科学基礎研究所　人間情報研究部