エレガントさを追究。研究ゴールという大きな傘をつくる亀岡 弘和
NTTコミュニケーション科学基礎研究所
上席特別研究員

多様なシーンにおいて、人が不自由なくコミュニケーションできる手段の創出をめざして、音響信号の要素分解・情景分析技術、そして、高い品質と自然性を意識した音声生成技術の研究に取り組んでいます。
ミックスジュースから特定の果汁だけを取り出すのが難しいのと同じで、一般に何らかの混合物を要素成分に分解することは容易ではありません。しかし人間は多数の音からなる外界音から各音を聴き分けたり、人の話し声に混在するさまざまな非言語的な成分を読み取ったりすることで、音響的な情景を理解する能力を備えています。この能力は人間が社会生活を営むうえで、特にコミュニケーションにおいて重要な役割を担っています。音響信号の要素分解と情景分析の研究では、音を対象としたこのような要素分解機能、および情景分析機能を計算機に備えさせるための数理モデルやアルゴリズムの実現をめざしています。
外界音を対象とした要素分解・情景分析の研究では、混合音に含まれる複数の音を分離抽出する音源分離、対象音が何の音かを同定する音源同定、対象音がいつ鳴っているかを推定する音声区間推定、対象音がどこで鳴っているかを推定する音源定位、残響や雑音を取り除いて特定の音声を強調する音声強調といった問題に取り組んできました。従来はこの分離、同定、区間推定、定位、強調の問題はそれぞれ個別の研究課題として取り組まれていましたが、よく考えてみるとこれらは独立しているわけではなく相互依存していることに気が付きます。例えば、何の音かがあらかじめ特定できていれば、それぞれを分離することは比較的簡単になりますし、それぞれの音をあらかじめ分離できていれば定位することが容易になるというように、１つの問題の解が他の問題の手掛かりになっています。この観点から私たちはこれらの問題を個別の問題としてとらえずに同時最適化問題としてアプローチし、まとめて解決する方法を考えました。

外界音に複数の音が混在するように、１つひとつの音声の中にもさまざまな成分が混在しています。私たちは会話の際、言葉に相当する言語情報とともに声の高低を用いて調子や意図などの非言語情報を相手に伝えますが、音声には言語情報に関係する音素、非言語情報に関係するフレーズ成分やアクセント成分などの要素が混在しています。声の高低の時間変化を表す基本周波数パターンは声帯に張力を与える甲状軟骨によって制御されているのですが、フレーズ成分とアクセント成分はその並進運動と回転運動に伴う成分とされています。これらの成分のタイミングと強度を正しく推定できれば非言語情報を定量化する重要な物理量となり得ますが、これらの逆推定は長らく難しい問題とされてきました（図1）。音声を対象とした要素分解・情景分析の研究では、基本周波数パターンをフレーズ成分とアクセント成分に分解する問題に焦点を当て、統計的信号処理アプローチにより高速かつ高精度に解決する手法を考案しました。この技術の応用例を紹介するため、標準イントネーションの日本語音声を関西風のイントネーションに変換するデモシステムを実装し、NTTコミュニケーション科学基礎研究所（CS研）オープンハウスやNTT R&Dフォーラムなどのイベントで実演したところ、なじみやすい内容だったからか多くのお客さまや報道関係者にも非常に好評で、テレビ、新聞、インターネット記事などで広く紹介していただきました。
これらの一連の研究は入社前の大学院時代も含めおよそ10年にわたって行ってきたもので、その間、ありがたいことに数々の表彰をいただきました。例えば2009年にIEEEから SPS Young Author Best Paper Awardを、2018年に科学技術分野の文部科学大臣表彰若手科学者賞をそれぞれ受賞しました。IEEEの賞は日本人初だったと聞いています。こうした受賞歴は研究分野でのプレゼンス向上につながりますので、振り返ってみると大きな出来事だったと感じています。
最近は、これらの研究に加え、深層学習のアプローチにより、高い品質と自然性を意識した音声生成の研究にも取り組んでいます。特に力を入れているのは、声の高低パターンだけでなく、声質やリズムといったさまざまな声の特徴を柔軟に変換することができる音声変換技術の研究です。不慣れな言語での会話、緊張状態でのプレゼンテーション、発声機能や聴覚機能に障碍や衰えがある場合の会話など、思いどおりに円滑にコミュニケーションを行うことができない場面は多くあります。音声変換技術の研究を通じて、円滑なコミュニケーションを阻害し得るさまざまな制限を取り除くことをめざしています（図2）。

音声変換の研究をより深く追究しようと考えたのは、実は先ほどお話ししたCS研オープンハウスでのある出来事がきっかけになっています。当時展示で紹介していたのは音声の「アクセント」を変換する技術だったのですが、見学にいらした方から「英語のアクセントも変換できるのか」という質問をいただいたのです。一般用語的には「アクセント」というと「訛り」をさし、英語の場合は発音の訛りをイメージすると思うのですが、まさにその意味でとらえられていたわけです。…