多彩な話者性や口調まで表現可能になった音声合成技術の今NTTメディアインテリジェンス研究所

NTTでは数十年の長きに渡り音声合成技術の研究開発を進めています。内容を正しく聞き取ることのできる音声の生成という段階からスタートし、次第に自然な話し方で肉声に近い高品質な合成音声が生成できるように進化を遂げ、現在では高品質かつ多種多彩な話者性・話し方を表現できるレベルまで達しています。この音声合成技術研究に携わるNTTメディアインテリジェンス研究所の井島氏と中村氏に、音声合成技術のこれまでの進化と現状、今後の目指すところを伺いました。またその中で、用途や動作環境などのバリエーションにより現在3種類ある音声合成ライブラリのうち、最も計算量・使用メモリ量の少ない超省リソース端末向けライブラリが導入されている、減災コミュニケーションシステムについても説明していただきました。

コンピュータに入力したテキストを音声に変換するのが音声合成です。実用化されたのは1980年代。最初の規則合成方式での音声合成は新聞校閲などに使用するため情報の確実な伝達を目的としており、機械的な音声でした。その後、2000年前後に波形編集方式、波形接続方式が生まれ、録音した話者の音声波形を連結する手法へと進化します。波形接続方式では、あらかじめ収録した1名の話者による大量の音声データベースから適切な音声波形を選択・接続することで、肉声に近い品質の合成音声の生成が可能になりましたが、対象となる話者の音声を事前に大量に収録し、精緻なアノテーション付与等のデータベース整備を行う必要があるため、ロボット等の用途で新しいキャラクタの音声合成を実現するには大きなコストがかかることが難点でした。その後、2010年頃には音声合成に機械学習が取り入れられるようになっていき、対象となる話者の音声が少量であっても、所望の話者の音声合成が可能になりました。当時はHMM（Hidden Markov Model）という統計モデルの手法を使った機械学習を用いており、この方式ではさまざまな話者・口調の合成音声を低コストで実現することができましたが、波形接続方式と比較すると品質面ではまだ物足りない状況でした。それを解決するために生まれたのが、深層学習を取り入れたDNN（Deep Neural Network）音声合成です。現在はこの技術によって、高品質かつさまざまな話者性や口調を再現でき、品質と多様性の両方で高いレベルの音声合成が可能になっています。

NTTのDNN音声合成の特徴は、これまでの方式よりも省コスト・省リソースであっても、高品質かつ多様な音声合成を実現していることです。一般的に、所望の話者での音声合成を実現するためには、声優・アナウンサー等の話者が発声した大量の音声が必要です。前述の波形接続方式では何十時間も収録に費やすことがあり、そのコストが一つの課題になっていました。今回、NTTでこれまで整備してきた多数話者の音声データベースと深層学習を活用することで、2時間程度の音声収録（20分～30分の収録音声）でも所望の話者での音声合成が可能になりました。また、サーバ上での動作だけでなく、スマートフォン等の端末上でも動作が可能で、スマートスピーカー、ロボットなど、さまざまなデバイス上で高品質かつ多様な音声合成を実現することが可能です。

音声合成は従来、一人の話者の収録音声を用いていましたが、現在の技術では複数の話者の収録音声を一つのニューラルネットワークで学習し、音声合成を行うことが可能です。例えば極端な例として、話者1「あい」、話者2「うえ」、話者3「お」と3人から違う音を収録した場合、この3名の話者の収録音声を統合してニューラルネットワークを学習することで、話者1、2、3それぞれの特徴を保った「あいうえお」という音声合成が可能になっています。もし話者1の録音が2時間、話者2と話者3の録音が各30分というように、各話者の収録量に差があっても、それが可能なところが特徴です。品質面ではかわいい声、妖艶な声、アナウンサー風の声といったように、よりキャラクタの「らしさ」を表現した多様な音声合成もできるようになりました。この技術を活用することで、NTTでは他社では類を見ない50名以上の話者を選択できる音声合成機能を提供しています。我々の音声合成エンジンを活用して、NTTドコモでは音声対話機能を短期間で実装できるドコモAIエージェントAPIを提供しており、さまざまなキャラクタとの音声対話型サービスによるビジネスを手軽に提供することも可能となっています。

このほか、日本語話者の声質で、英語や中国語といった他言語の音声合成を実現する、クロスリンガル音声合成技術の研究開発も進めていますが、ニューラルネットワークを使用することによって音声合成の世界はかなり広がったといえます。

品質や多様性を追求してきた音声合成技術ですが、使われる場面が増えると同時に、多様なスペックの端末上でも動作する音声合成ライブラリが求められるようになってきました。例えば車載ナビや高級玩具など、インターネットに常時接続できない環境でも動作させる必要のあるサービスや、音声合成サーバを維持運用するコストが問題になる場合など、ネットワークやサーバを介さずに端末上で音声合成を行いたい場面は多く存在すると考えています。そこで、高品質で聞き取りやすい音声品質をできるだけ保ちながら、さまざまなスペックの端末において実用的な速度で動作する、組み込み用DNN音声合成ライブラリを開発しました。現在は①x86サーバ向けライブラリ、②x86サーバと比べて計算能力の低いスマートフォンやタブレット用の省リソース端末向けライブラリ、さらには、③マイコンや家電、高級玩具等でも動作する、省リソース版よりさらに計算量の少ない超省リソース版ライブラリの3種類のラインナップを揃えています。

その中でも超省リソース版音声合成ライブラリについては、NTTデータ社の「減災コミュニケーションシステム®」に導入され、最新の無線通信技術であるLPWA（Low Power Wide Area）を活用した戸別受信端末上で動作する音声合成ライブラリとして活用されています。減災コミュニケーションシステムは、地方自治体から住民の皆様に向けて行政・防災情報等を伝達するための告知放送システムであり、自治体庁舎内の送信システムや遠隔操作端末などから、携帯電話網や緊急速報メールを通じて、地域内に配備した屋外スピーカ装置やタブレット端末、スマートフォン／携帯電話などへ情報を配信します。しかし、スマートフォンやタブレット等のデバイスに不慣れな高齢者の方向けの情報伝達や、住居などの屋外スピーカの音声が届きにくい場所への対応、携帯電話回線費用等のランニングコストの軽減など、多様かつ最適な機器・手段を組み合わせた、より確実でより安価な情報伝達が求められています。そのような要望に応えるため、各自治体で自営の無線局を運営できるLPWAを活用した戸別受信端末を商品ラインナップに加え、NTTデータ社より2018年秋から販売を開始しました。LPWAの無線規格の中でもLoRa（Long Range）を採用し、特定小電力無線局として運営できるよう、電波出力を抑えて運用しています。そのためデータ伝送速度が低く抑えられてしまうため、合成音声などの音声データを実用的な速度で直接伝送することができません。そこで、NTTの超省リソース版音声合成ライブラリを戸別受信端末に組み込む開発を実施し、LPWA網を通じて伝達したい情報をテキストで伝送して戸別受信端末上で音声を合成し、聞き取りやすい音声による情報伝達を行う仕組みを実現しました。埼玉県横瀬町のプロジェクトサポート施策である「よこらぼ」の採用事業として2017年8月～12月にかけて実証試験を行い、行政・防災情報を伝達するにあたって十分な性能があるとの結果を得ることができました。

このように、音声合成技術を社会で広く必要とされるために、多種多様な要望に応えられる技術の要件を考え、実現させ、適切に世の中に提供していくことが重要と考えています。

技術の進化とともに、音声合成が使われるサービスも多様化しています。最初の規則合成方式は新聞の校閲システムなどに使われ、波形接続方式となって電話による情報案内、メールの読み上げ、家庭用ゲームへの組み込みといった一般の方々に広く使っていただけるサービスへも広がっていきました。機械学習が使われるようになって多様かつ高品質になると、ニュースの読み上げや動画サービスへの応用、またスマートフォンやロボットによる対話といったことも当たり前のことになりました。ダイヤル177の天気予報は完全に音声合成に置き換わりましたが、今や音声合成で作られた音声はさまざまな場面で日常生活に溶け込んでいます。

今後の音声合成の研究は、何をどこまで追求するかということが一つのポイントになっていくと思います。現在の技術は与えられたテキストからうまく音声を作るという観点では、一定のレベルまで到達しています。しかし、人間ならニュース原稿や台本を読むときは書かれた内容を理解した上で感情を込めたり声色で表現したりしますが、音声合成ではテキストの意味を解している訳ではないので、常に同じ調子でしか表現できていません。ロボットやアニメコンテンツなどでの需要が増えている今、音声合成が現在よりも広く世の中に普及するためには、人と同等か、それ以上の表現が可能な音声合成を実現する必要があると考えています。一方で、実用化を考えた場合、合成音声の品質だけではなく、処理速度、メモリ量、運用コスト等さまざまな要件をクリアする必要があるため、処理速度等に課題があるDNNを使用するのは必ずしも最適ではない場合もあります。ビジネスとしてより広げていくために、サービスに応じた最適な仕組みの選択も考えながら、今後の研究を続けていく必要があると思います。

音声合成に置き換わったという177の天気予報を聞いてみると、かつては明瞭ではあるものの機械的でゆっくりだった案内も、今はなめらかで抑揚のある自然な声になっており、その進化ぶりに改めて驚かされます。肉声に近くなることでストレスなく聞くことができるというのは、情報伝達の上では大切なことだと思います。ここに至るまでにさまざまな技術開発があり、研究者の方々や事業会社が細かな部分を追求し、多様性や品質を上げてきたことを、今回のお話から知ることができました。
進化を続ける音声合成技術ですが、テキストの意味をどう解釈させ、より人らしい音声合成を実現していくのか、ニュースの読み上げやエンターテインメント分野などでは期待が高まります。一方で、緊急時に欠かせない減災コミュニケーションシステムのように、音声合成によって人の仕事をサポートする分野の広がりにも期待がかかります。音声合成は新しい音声合成方式が誕生するたびに大きな革新が起こっている技術だけに、次にどのような進化を果たすのかが楽しみです。

2019年3月25日取材
魁生佳余子

• NTTドコモ ドコモAIエージェントAPI
  https://www.nttdocomo.co.jp/biz/service/ai_agent_api/
• NTTテクノクロス FutureVoice Crayon
  http://www.v-series.jp/futurevoice/
• Nobukatsu Hojo, Yusuke Ijima, and Hideyuki Mizuno. "DNN-based speech synthesis using speaker codes."
  IEICE TRANSACTIONS on Information and Systems 101.2 (2018): 462-472.