聴きたい音を聴く―選択的聴取

目的話者・目的音抽出技術を実現できれば、人間と同じように聴きたい重要な音情報のみを聞き取ることができるデバイスやAIエージェントの実現につながります。目的話者抽出の応用先としては、目的話者の声を聞き取りやすくする補聴器やボイスレコーダー、特定の人のみに反応するスマートデバイス、会議音声の議事録システムなどが考えられます。また、目的音抽出技術によって、例えば車の走行中には消防車のサイレン音のみに注意するが、家の中では人の声と犬の鳴き声に注目する、といったような、状況によって聴きたい音を聴くことができる、よりインテリジェントな音声デバイスの実現が期待されます。

目的話者抽出は、複数の話者や雑音が混在する音声から、特定の話者の音声信号を推定し、他の話者や雑音を除去する技術です。この技術は、手がかりに基づいて目的話者を識別・抽出するニューラルネットワークを利用します。私たちは、目的話者の短い音声サンプルや口の動きの映像、さらにそれらを組み合わせた手がかりなど、さまざまな手がかりに基づく方法を検討してきました。
目的話者抽出は、対話相手に集中し、他の話者を無視できるパーソナライズされた音声エージェントを実現するための重要な技術です。

目的音抽出は、目的話者抽出技術を拡張し、日常に存在する任意の音を扱う技術です。この技術は、目的話者抽出と類似したニューラルネットワークを用いますが、多様な音響イベントの混合データで学習されています。目的話者抽出と異なり、目的音抽出では非常に多様な種類の音に対応する必要があり、さらに新しい環境に直面することで抽出対象となる音の種類は増加します。そのため、システムが利用環境に応じて新しい音クラスを学習できるよう、継続的な学習の仕組みを導入することが重要となります。目的音抽出技術により、状況に応じて聞きたい音を選択できるスマート補聴デバイスが実現します。例えば、自宅での仕事中には消防車のサイレン音を抑制するが、運転中は強調するといった制御が可能になります。