ゼロショット知識蒸留

学習済モデルの予測結果を学習目標として他のモデルを学習させる「知識蒸留」において、学習用実データを一切用いないゼロショット手法を考案しました。また、この手法を応用することで、大規模データで事前学習されたモデルを利用することなく、少量の学習データのみから高性能なニューラルネットワークを学習できる少数ショット学習も実現しました。

本手法は、学習用実データを一切利用しない代わりに、人工的に生成した「疑似サンプル」を学習データとして用い、疑似サンプルに対しての学習対象のモデルの出力が学習済の目標モデルの出力を模倣するように、学習対象モデルを学習します。 また、敵対的サンプル生成 [Goodfellow+ICLR2015] から着想を得た「疑似サンプル最適化」により、学習対象モデルが十分に学習できていない箇所へ移動させます。
この疑似サンプル最適化と学習対象モデル最適化を交互に繰り返すことで、学習済目標モデルと同様の挙動を示すモデルを構成するゼロショット知識蒸留を実現できます。

疑似サンプル（緑点）を下図(b)のように無限に生成できれば、識別境界が黒線で示される目標モデル(c)の挙動をほぼ正確に転写したモデル(d)を構成できます。また、疑似サンプルの初期数を(e)のようにある程度制限した場合でも、実サンプルが存在すると想定される空間で概ね同様の挙動を示すモデル(h)を構成できます。

今後も、実データに潜む本質的な性質を考慮した技術の考案により、高効率・高ロバスト・低コストなメディア情報処理およびそれを支える機械学習基盤の確立をめざします。

1. Kimura, Ghahramani, Takeuchi, Iwata, Ueda, “Few-shot learning from scratch by pseudo example optimization,” Proc. British Machine Vision Conference (BMVC), 2018.
   https://bmva-archive.org.uk/bmvc/2018/contents/papers/0366.pdf

木村 昭悟 (Akisato Kimura)
コミュニケーション科学基礎研究所 メディア情報研究部 メディア認識研究グループ