研究展示

深層学習による画像認識や機械翻訳において予測精度を改良するための研究です。深層学習は大量のデータをモデルが学習することで、例えば画像が入力されたときにそれが動物、車、人であるという確率を出力します。モデルの最後に使用する出力関数を改良して高精度化します。

高精度なモデルを構築するためには、様々な確率のパターンを出力できる表現力が必要となります。既存の出力関数は表現力のボトルネックとなり、精度向上に大量のパラメータを必要とするため、計算コストが高くなります。そこで私達はパラメータを増やすことなく表現力を改善する技術を作りました。

本技術を用いることで、高精度なモデルを既存のモデルの一箇所を変更するだけで構築できるようになります。本研究のように表現力のボトルネックを解消していくことで、より少ないパラメータ数、計算コストで高精度な予測が可能な深層学習モデルの実現に寄与します。