雑音・残響の中で聞き取る―超高品質音声強調

AIが人間を超える聴覚能力を備えることで、音に関わる私たちの体験や、AIによる生活支援の質は飛躍的に向上すると期待されます。例えば、人と人とのコミュニケーションを支える技術として、騒がしい環境において、会話相手の声や周囲の音を明瞭に聞き取ることができるヒアリング支援、聴覚に障害のある人や異なる母語話者間の円滑なコミュニケーション支援、同じ空間にいるかのような臨場感のあるリモート音声会議などが挙げられます。また、音収録技術への応用として、日常環境においてもスタジオ録音に匹敵する超高品質な映像機器やポストプロダクション技術、AIによる音の学習 (音声合成など) のための高品質音声データ収集などが考えられます。

私たちが普段聞いている音は、あちこちで生じた音が混ざりあった、きわめて複雑な音です。私たちの研究グループでは、そのような複雑な音を、個々の音源から生じている音と、音源から耳（マイク）までの音の伝わり方（直接経路、残響）とに自動的に分解する技術を検討しています。この技術は、音源分離、残響推定、音源位置推定といった処理を包括的に扱う音響信号処理の統一基盤となります。
私たちは、この理論基盤を構築するとともに、会議音声、スマートスピーカー、聴覚支援デバイス（補聴器など）といった現実的なシナリオで収録された音から、各話者の音声・残響・音源位置を同時に推定する方法を考案しています。

近年、ニューラルネットワークに代表される機械学習技術の進化により、大量の音データからの学習に基づく高品質な音声強調が実現されつつあります。しかしながら、この技術は、学習データと大きく異なる未知の環境や、ホームパーティのような音源が複雑に混ざり合う実環境で収録された音声に対しては、性能が著しく低下するという根本的な課題を依然として抱えています。
この課題を克服するため、私たちは以下の二つのアプローチで研究を進めています。

1) 革新的な学習・推論パラダイムの構築： 実環境収録を用いた教師無し学習を含む、より汎用性と頑健性の高い学習・推論方式を構築します。
2) 物理・統計的知識の活用： 空間伝達特性をはじめとする音の物理的・統計的性質を考慮した推論アルゴリズムを開発します。

これらの複合的なアプローチにより、多様で複雑な実環境において、既存技術の限界を超える超高品質な音声処理技術の実現を目指します。

音声強調技術の目標設定と性能評価において、品質評価尺度は極めて重要な役割を果たしますが、信頼性の高い指標は未だ確立されていません。従来は、雑音の低減量といった物理的な指標が用いられてきましたが、こうした指標は「音声の聞き取りやすさ」や「音声認識精度の向上」に必ずしも結びついてきませんでした。
私たちは、超高品質な音声強調技術の実現に向けて、信頼性の高い評価尺度の確立に挑戦しています。人間の聴覚特性を模擬した評価尺度の開発、音声認識に影響を及ぼす歪み量の特定、機械学習に基づく主観品質予測モデルの構築などの研究を進めています。