質感を見極める視覚のしくみ

質感知覚メカニズムの解明

人間の目は光沢感や透明感、やわらかさなど表面の様々な質感を瞬時に感じとる能力を備えています。しかし、いったい人間がどのような仕組みで質感を知覚しているのか、これまでほとんど分かっていませんでした。質感知覚の物理的な基礎となるのは表面の光の反射パターンですが、それを一枚の画像から推定するのは非常に難しい問題です。複雑な光学プロセスの結果生じた表面の映像の微妙な変化をとらえる質感知覚の能力は、非常に高度な脳の情報処理に基づくように思われがちですが、われわれの最近の研究から、人間の脳は映像のなかの単純な統計的性質を利用してある種の質感を推定していることがわかりました。例えば、人間が知覚する表面の明るさや光沢感は、その映像の輝度ヒストグラムの歪みから計算されているのです。質感の知覚が意外なほど単純な視覚メカニズムに基づいていることが次第に明らかになりつつあります。

将来どのように使われるのか

高精細映像通信において、豊かな質感を損なわずに画像を表示・圧縮したり、質感を人工的に制御・合成するための技術的基盤を提供します。また、単純な統計量は高速に計算できるという事実を利用して、特定の質感をもつ表面の映像を検索したり、リアルな質感をもつCG映像を即座に描き出すといった技術にも応用可能です。

質感にあふれた視覚の世界

焼きたてのステーキ、赤ちゃんの肌、履き古した革靴、寺院の仏像にいたるまで、私たちのまわりにある表面はそれぞれ独特の質感をもっています。私たちは普段、そうした質感の違いをなにげなく見分けて生活しています。また、質感そのものを楽しみ、そこに高い価値を見出すこともあります。人間は目に与えられた視覚情報から質感をどのように知覚しているのでしょうか？

映像のなかにひそむ質感の手がかり

物理的には、質感は表面のもつ光学特性、表面の凹凸、そして、そこに当てられる照明との極めて複雑な相互作用の産物です。この複雑さは、質感の知覚がいかにも高度な脳の情報処理に支えられていることを予感させます。しかし、人間の視覚システムは表面の映像がすでにもっているごく単純な情報を利用して、質感を推定していることを発見しました。これは、質感の知覚が実は低レベルの情報処理に基づくことを示しています。

明るさ・光沢感と画像ヒストグラム

例えば、表面の光沢感はその映像の輝度（濃淡）のヒストグラムの歪みぐあい（歪度）からうまく予測できます。物理的に光沢のある表面ほど、その映像のヒストグラムは正の方向に歪むので、その歪みを検出して光沢感を知覚しているというわけです。その証拠に、あまり光沢のない表面でも、映像のヒストグラムを正の方向に歪めると強い光沢をもつ表面に知覚されます。ヒストグラムの歪みは、網膜や低次の視覚皮質にある神経回路で簡単に計算できます。

展望:画像処理で質感を制御する

私たちはさらに、ゼリーの透明感や金属の輝き、あるいは人の肌の質感がどのような特徴に由来するかを探索しています。そのなかで、映像に単純な画像処理を施すだけで見かけの質感を劇的に変化させる技術を開発しました。例えば、光沢のある表面の映像のハイライト以外の部分（陰影パターン）の濃淡を反転させるだけで、その表面はゼリーのような透明感をもって知覚されます。