気になる方向の音をフォーカスして聞ける
360度超指向性小型マイクアレイ
加古 達也
コンピュータ＆データサイエンス研究所
研究主任

新型コロナウイルスの影響で残念ながら中止となってしまった『ニコニコ超会議2020』。『ニコニコネット超会議2020』としてオンラインイベントは開催されましたが、実際には披露できなかった企画や展示が多数あります。ここでは、紹介できなかった研究内容と展示内容について紹介していきます。

1. ＊使用している画像や図版は準備段階のもので、実際には使用されていないものを含みます

360度超指向性小型マイクアレイは、くぼみを持つ球体に設置した8個のマイクで360度の音を集音し、好きな方向の音を抽出することができるというもの。カメラで映像にズームするように、音に寄っていくことが可能です。展示ブースにジオラマを設営し、気になる場所を選ぶと、映像と共に音にもフォーカスできるという展示を予定していました。

例えばスポーツの現場では、観客の声援や選手たちの声、会場に吹く風や流れる音楽など、さまざまな音があふれています。その中から聞きたい音だけを選んで取り出し、聞くことができれば、中継の楽しみやコンテンツ制作の幅は大きく広がります。
「360度超指向性小型マイクアレイ」は、そんな音の世界を実現するためのデバイスです。マイクアレイとは、複数のマイクを設置し、入力された音を信号処理して指向性を得るマイクのことです。360度超指向性小型マイクアレイは、360度の球体に8個の小型マイクを備え、入力された音を信号処理することで指向性を得ることができます。全方向の音を集音して、好きな方向の音を抽出できるので、通常では聞き逃していた方向の音声や、他の音にかき消えてしまっていた音声などを、リアルタイム、または収録された音をあとから処理して聞くことが可能です。
具体的には、観衆でざわめいているスタジアムの中でも、選手の声やボールの音など聞きたい音の方向へ、カメラをパン、ズームする感覚で目的の音を聞くことができるというものです。

360度超指向性小型マイクアレイは、直径8cmの小型の筐体で、8個のマイクを内蔵しています。マイク位置に付けられたくぼみにより、マイク間で集音する音の音圧差を強調する効果を持ちます。これにより小型のマイクアレイでもガンマイクと同等以上の指向特性を得ることができます。

プロ用ガンマイクが約40cmもの長さで、集音目標に向ける必要があるのに対して、360度超指向性小型マイクアレイはコンパクトであるのに加え、全方向の集音が可能なため、一度設置すれば動かす必要なく収録ができます。
こうして360度超指向性小型マイクアレイで集音した音は、8個のマイクを統合してソフトウェア処理することで、全方向の音から目的の方向の音のみを抽出することができます。

そして何より小型で設置場所を選ばないため、設置場所の候補も増え、コンテンツ制作の自由度が広がります。

ニコニコ超会議2020では、妖精の棲む森を再現したジオラマの空間の中に360度超指向性小型マイクアレイと全天球カメラを設置して、映像と音を連動させた空間を設置する予定でした。
森を再現したジオラマ内では小人たちが小さな声でおしゃべりしており、ユーザーがジョイスティックでカメラ映像の向きを変えたり、ズームアップしたりするとカメラ映像の動きに合わせて360度超指向性小型マイクアレイが動作し、小人たちのおしゃべりを聞くことができます。

360度超指向性小型マイクアレイが実用化されると、今まで設置できなかった場所、シチュエーションでの全方向集音が可能となります。例えば、スポーツの試合などではスタジアムのプレイ音をとり逃さず収録、再生することができます。観客席と競技場両方を集音できるので、試合運びや状況に応じて会場の雰囲気に合った音声を選択することが可能になります。音楽のライブなどでは、アーティストの音声や観客の音声などを同時に収録し、臨場感のあるサウンド効果を得るといった演出を実現してくれます。さらには全天球カメラと連動することで、あたかもスタジアムやライブ会場にいるかのような体験も可能になるでしょう。

NTTメディアインテリジェンス研究所では、マイクアレイの研究を過去には遠くの音をクリアに集音する「ズームアップマイク」や、大歓声の中でも目的の競技の音をクリアに抽出する「ターゲットマイク」などの研究成果を開発してきました。360度超指向性小型マイクアレイもですが、信号処理技術によって現実世界のあらゆる音をキャプチャーできるようにすることを目指しています。今後も、放送やエンタテイメント向けに限らず、現実世界のあらゆる音を集音し、その音の分析結果に基づいたユーザーへの適切な情報提示など一般社会で活用できる技術の研究開発を進めたいと思っています。