超高精細映像AI推論ハードウェア構成技術NTTデバイスイノベーションセンタ

4K映像に対して、リアルタイムかつ低電力でAI推論処理を実行可能なハードウェア構成技術の研究開発に取り組んでいます。本技術に基づく半導体チップを、エッジ/端末などに搭載し、画角の広い4K映像に対してリアルタイムAI推論を行うことで、例えば、ドローン無人航行では、飛行ルート下の通行人や車などの所望の物体を、安全航行のために、より高高度から検出しながら飛行可能になり、監視サービス用途では、より広範囲から所望の物体を検出できるようになります。

近年、映像AIを活用した業務や生産の効率化がますます重要になっています。中でも、ドローン無人航行、監視サービス、リモートプロダクション等の分野でのAI活用が期待されています。その一方で、市中技術では、解像度、消費電力、リアルタイム性の面で課題があります。これら課題解決のために、4K等の超高精細映像に対して、リアルタイムかつ低電力にAI推論処理を実行可能にするハードウェア構成技術の研究開発に取り組んでいます。

• AI推論手法による解像度制約を超高精細映像（例：4K）にまで拡張する技術
• 上記技術をリアルタイムかつ低電力で実行可能にするハードウェアエンジン

• ドローン無人航行において、安全航行のために、飛行ルート下の通行人や車を検出しながら飛行するユースケースにおいて、より高高度から検出可能になります。
• 公共空間の監視サービスにおいては、より広範囲から所望の物体を検出可能となります。
• スポーツ選手の動きに合わせた自動撮影など、被写体が素早く移動するようなユースケースにおいても、所望の物体を正確に検出可能となります。

一般に、AI推論は、計算量の低減と学習容易性の観点とから、入力画像サイズに制限があります。このため、市中技術では、たとえ4Kカメラで被写体を撮影した映像でも、実際には小さい画像サイズに縮小してAI推論を行っており、小さな物体がつぶれて検出困難になっていました。リアルタイム性、消費電力の面でも課題です。
上記課題解決のために、4K映像のままで、リアルタイムAI推論を低電力で実行可能にする技術を確立しました。本技術は2つの技術から構成されます。1つは、AI推論の解像度制約を4K映像にまで拡張する高精細化技術（特徴1）、もう1つはこれをリアルタイムかつ低電力で実行可能にする独自AI推論エンジン（特徴2）です。
高精細化技術では、画像縮小なしで推論するために、入力画像サイズを制約サイズにまで分割して、分割画像ごとに推論を実施します。これにより、小さな物体が検出できるようになります。これと並行して、分割画像をまたぐような、大きな物体も検出できるようにするために、画像全体を縮小しての推論も行います。こうして得られた画像全体からの結果と、分割画像からの結果とを合成することで、最終的な検出結果を得ます。これにより、4K映像に対しても、大小両方の物体を検出可能となります。
一方で、この高精細化技術は、4K映像において、分割画像数が多く、そのままでは演算量が膨大となります。このため、独自AI推論エンジンでは、フレーム間相関を利用した演算効率化などにより、検出精度を確保しつつ、演算量の削減を実現し、低電力での4Kリアルタイム実行を可能にしています。

デバイスイノベーションセンタ　コンピューティングデバイスプロジェクト