自由特徴点画像生成NTTコミュニケーション科学基礎研究所

近年の深層学習の発展（例：Generative Adversarial Networks（GAN）[Goodfellow et al.(2014)]）により、画像編集・画像生成の高度化が進んでいます。しかし、従来技術（例：Conditional GAN（CGAN）[Mirza & Osindero (2014)]、Auxiliary Classifier GAN（AC-GAN）[Odena et al. (2017)]）では、画像の属性の表現が限定的（例：表情の場合、笑顔か笑顔でないかの二値表現）であったため、編集・生成した画像が必ずしもイメージにあった画像になるとは限りませんでした。これに対して、本技術（Conditional Filtered GAN（CFGAN）[Kaneko et al. (2017)]）では、画像の属性をより詳細に表現（例：表情の場合、大笑い、微笑など笑顔の様々なバリエーションを表現）することを可能にしました。これにより、属性の種類や度合いを自在に変えることができ、イメージにあった画像をつくり出すことが容易になりました。

また、本技術を用いることで、画像が与えられたときに、属性を様々な度合いで変えた画像をつくり出すことができます。これにより、「データ拡張」することができ、画像検索や画像識別の高精度化につながると期待されます。

画像の属性（例：顔画像の場合、髪型や表情など）を詳細かつ自在に編集・生成できる技術です。

• コンピュータビジョン分野のトップ国際会議である「CVPR]に採択された世界最先端の技術。
• 画像の属性を詳細かつ自在に編集・生成可能。
• 学習に必要なデータは従来技術と同じ（属性の二値表現）で、詳細な表現はデータから自動獲得可能。

• 顔編集アプリ
• 化粧・髪型シミュレーション
• モンタージュ画像作成補助
• 属性変化に頑健な検索システム
• データ拡張

Generative Adversarial Networks (GAN)
画像を生成する「生成器」と、生成画像と実際の画像を識別する「識別器」の二つのネットワークから構成。これら二つのネットワークが敵対的に学習（生成器は識別器を「騙せる」ように最適化、識別器は生成器に「騙されない」ように最適化）することで、生成器はリアリティのある画像をつくり出せるようになる。

Conditional Filtered Generative Adversarial Networks (CFGAN)
GANを条件付設定に拡張したものにCGANがあるが、このモデルでは属性の表現は教師ラベル（例：笑顔かどうかの二値ラベル）に制約されており、詳細な表現を行うためには、詳細な教師ラベルを収集することが必要であった。これに対して、CFGANでは、ラフな（二値の）教師ラベルだけから詳細な表現を自動獲得することを可能にしており、これにより、CGANと同じ収集データでリッチな属性の表現の獲得が可能である。

自由特徴点画像生成
属性の表現空間で「自由」に「特徴点」を操作して「画像」を「生成」できる技術。

NTTコミュニケーション科学基礎研究所　メディア情報研究部