見返りを期待せず、頼まれごとは断らない。損得勘定なしで臨めば、未来が切り拓かれる高村 誠之
NTTメディアインテリジェンス研究所
上席特別研究員

私が研究しているのは「万象オーガナイズ技術」です（図1）。2040年ごろには40YB（ヨタバイト、10¹²TB） にまで増加するといわれる膨大な生成データを、余さず利用可能にすることを目標とした超高圧縮符号化技術です。こうした膨大なデータの保存、流通において、ストレージ容量や伝送容量に収まるようにするために、情報トリアージ（選別）をベースとした検討が現在の主流となっています。この場合、トリアージの規則に従って優先度の低いデータは捨てられることになり、貴重なデータもこの中に含まれる場合もあります。こうした状況に対して、ノイズ除去や情報圧縮の視点を強化することで、データを捨てることなく保存、流通させるのが、万象オーガナイズ技術で、世の中で使われている一般的な技術よりも品質を高く保ちながら100～1000倍の圧縮を可能とします。この技術を使ってデータの流通基盤をデータ量からデータの質へと変化させればさまざまな応用先の開拓や新しいビジネスを創出できると考えます。特に、万象オーガナイズ技術ではデータ量の8割以上を占める映像データに着目しています。映像のデータ使用量は年々増大していますから、この整理が万象オーガナイズの大きなポイントとなります。

万象オーガナイズ技術は、点群処理・符号化、光線空間処理・符号化、認識誤差抑制型符号化、360°映像処理・符号化、符号化志向映像生成等、多くの技術要素から構成されているのですが、その中でも柱となるのは「実体マイニング符号化技術」です（図2）。これまでの符号化技術は実体を映した映像そのものに対して符号化を行うのですが、実体マイニング符号化技術は、撮影された映像からノイズ、歪、ピントのずれ、情報の欠落等の擾乱を除去し、被写体本来の姿を推測し、それを基に符号化する技術です。現実に存在している素材や物体の状態・情報をでき得る限り忠実に抽出（推測）して符号化するため、撮影された映像の品質を超え、本物に迫る映像を再現します。もちろん圧縮されたデータ量は従来の方式よりも少なくすることができます。
実体マイニング技術の応用としてはいくつかあるのですが、中でも、現在注力しているのが水面の揺らぎを通して見える映像の実体を、映像として再現する水底映像符号化技術です（図3）。映像に臨場感を与える重要な構成要素である水のシーンにおいて、従来方式では特に符号化が難しかったものです。国際会議で受賞するなど高い評価をいただきました。論文誌にも投稿をお誘いいただいています。現在は、さらにそれを進化させて、最新版の「国際規格参照ソフトウェア」との性能を比較するため、4～5カ月単位の非常に時間がかかるシミュレーションを一からやり直しています。
また、点群映像の符号化にも挑んでいます。点群は3次元空間中に格子点状に沿わず存在する（規則正しくない位置に存在する）点の集まりで、非常に自由度が高く、多量なデータで表現されます。これはすでに国際標準化された符号化技術もありますが、これとは異なったアプローチで、自由度を下げることで圧縮率を上げ、さらに映像の複数フレーム^＊1間で情報をうまく統合することで、二律相反する品質と圧縮率の向上を両立できないかと考えています。
さらに、ある観察対象実体をさまざまなセンサによりさまざまな場所から取得する「マルチモ―ダル」信号の情報は、取得する時間サンプル位置も空間サンプル位置も格子点状になく、次元（温度、座標、色、音圧）も異なりますが、実体は1つなので、これらの情報は互いに相関があるはずで、それを見出せばノイズを低減したり、先を予測したり、データ量をコンパクトに圧縮して使いやすくする、といった有益なことができると考えられます。しかしながら、現在はそのような信号を統合的に扱う基盤理論がありません。単一モーダルの信号であればグラフ信号処理^＊2（図4）という枠組みの研究が活発になされていますが、それをマルチモーダル信号へと発展させていくのが課題です。
そして、データの生成源であるセンサのところも、観察対象実体に対してあまりに潤沢にセンシングしてしまっている可能性があります。イメージセンサでいえば画素が間引かれた状態で取得しても、後段の計算処理によりある程度正確な画像信号を得ることができる「圧縮センシング」という技術があります。低消費電力化にもつながるため、将来IoTセンサが至る所に存在するようになればなるほど、この「入口でデータを絞る」行為は重要性を増すと考えています。後段の計算で信号を復元するところが鍵で、これが賢くなるほど正確な観測ができます。新たな計算原理に基づく復元の高精度化、またマルチモーダル環境における異モーダル間協調復元への発展などが課題と考えています。
今後は、こうした技術をJPEGやMPEGのような標準規格として確立していきたいと考えています。道のりは長く、ハードルも高いのですが、だからこそのやりがいを感じています。…

1. ＊1フレーム：映像を構成する1枚の画像の単位。例えば日本の放送の映像は1秒間に30フレーム、一般的な映画は毎秒24フレームから構成されています。
2. ＊2グラフ信号処理：ノード（点）とエッジ（線または辺）で情報の構造を表現する方法の1つであるグラフを用いた信号処理。ソーシャルネットワークやセンサネットワークからの信号を適切・効率的に分析するのに利用される比較的新しい信号処理技術。