鳥の声で喋り、水の泡で演奏する
~聴覚信号処理モデルを用いた音のテクスチャ変換~
どんな研究
ブクブク泡立つ水音や森の木々のざわめきのように、自然な環境音からは、それぞれ特有の質感が感じられます。音声や音楽に、このような質感を人工的に持たせる方法を開発しました。画像の質感を操作する研究から着想を得て、その方法を音に適用できるように発展させました。
どこが凄い
音が聴こえるメカニズムを考慮した計算モデルを用いて、聴感上効果的な質感操作が実現できました。この質感操作の仕組みは、画像の質感操作と同じ枠組みで構成されています。これにより、見た物と聴いた物の質感が、脳内で類似した機構で処理される可能性が強く示されました。
めざす未来
学術的には、モデルのなかで生じている状態を、実際に人が音を聴いているときの脳活動と比較することで、音の質感知覚メカニズムの理解につながります。応用の観点からは、実際は存在しない声で喋ったり、実際には存在しない楽器で演奏したりすることができる可能性があります。