研究展示

メディアの科学

18

顔で声の表情を制御する

クロスモーダル音声表情変換

どんな研究

対話や講演において、心理的な緊張状態や能力的な限界などにより思うような話し方で話せない場合があります。本研究では、入力音声の話し方の雰囲気（表情）を、顔の表情や体の動作などの手段により制御することを目的としたクロスモーダル音声表情変換の問題に初めて取り組みました。

どこが凄い

話し方の表情は声質・抑揚・リズムによって決まります。従来技術の多くは声質のみの変換を扱っていましたが、我々の音声変換技術は、声質とともに抑揚やリズムの変換も可能にします。この技術と顔表情識別技術を組み合わせることで、顔画像を用いて声の表情を変換する技術を実現しました。

めざす未来

人と人とのコミュニケーションには、物理的・能力的・心理的な状態に起因する様々な形の制約が存在します。本研究では、このような制約を取り除き、あらゆる人が不自由なく快適にコミュニケーションを行える環境を実現することをめざしています。

関連文献

  1. H. Kameoka, K. Tanaka, T. Kaneko, N. Hojo, “ConvS2S-VC: Fully convolutional sequence-to-sequence voice conversion,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, under review.
  2. K. Tanaka, H. Kameoka, T. Kaneko, N. Hojo, “AttS2S-VC: Sequence-to-sequence voice conversion with attention and context preservation mechanisms,” in Proc. 2019 IEEE International Conference on Acoustics, Speech and Signal Processing （ICASSP2019）, pp. 6805-6809, 2019.

ポスター

展示説明ムービー

動画の公開は終了いたしました。ご了承くださいますようお願いいたします。

関連コンテンツ

» 【オープンハウス2020 研究講演】ご所望の声でコミュニケーション　～深層生成モデルが切り拓く音声変換の可能性～

連絡先

亀岡 弘和 （Hirokazu Kameoka） メディア情報研究部 メディア認識研究グループ
Email: