研究展示

これまでは、音声認識システムを用いても、人の話し声以外の音を的確にテキストに変換することはできませんでした。本展示では、任意の音に対して、それがどんな音かを説明するテキスト（擬音語や説明文）を生成する研究を紹介します。本研究により物音などを文字で伝えることが可能になりました。

音を文字にすることで、一見するだけでどのような音かを把握できます。どの程度の詳しさで音を説明して欲しいかを数値で指定することで目的に沿った文を生成できます。擬音語や説明文が表現するような主観的な音の近さに基づいて、イメージした音に最も近い音を検索することなどにも応用できます。

効果音や異常音などの音の検索がより便利になります。動画中の音を文字で表現することで、公共の場所や騒々しい場所などでの動画視聴も便利になることでしょう。また、AIが人間に近い音の感覚を身につけることで、宅内ロボットなどとの日常のコミュニケーションが円滑になることも期待されます。