3DGSを用いたドライブレコーダ画像内の設備位置特定技術

概要
従来の作業員による現地点検の削減と、紙台帳に変わる高精度なデジタル台帳の整備をめざし、ドライブレコーダ点検画像内のインフラ設備の位置を高精度に特定する技術を確立しました。本技術では、画像から3次元シーンを再現する技術である3D Gaussian Splatting^※1（以下、3DGS）を用いて、ドライブレコーダ画像から3Dデータを生成することで、画像内のインフラ設備の高精度な位置特定を可能とします。本技術を用いて街全体を3D管理することで、インフラの補修・更改計画の最適化に加え、都市計画や防災シミュレーション等へのデータ活用も可能となり、安心・安全でスマートなまちづくりの実現に貢献します（図1）。

図1　本技術によるドライブレコーダ点検画像のインフラ設備位置特定およびGIS^※2管理

背景
社会インフラの老朽化および維持管理に携わる作業員不足は深刻であり、膨大な設備の安全を確保する点検業務のDXは急務となっています。昨今、AIの進歩により点検画像から劣化の検出・診断が可能となったことで、現地に赴く必要のないドライブレコーダを用いた点検・デジタル台帳作成が現場導入されつつあります。しかしながら、ドライブレコーダ画像と共に得られるGPS等の位置情報は、1～10メートル程度の誤差を含んでおり、点検の度に位置情報にずれが生じるという問題があります。ドライブレコーダ点検画像に高精度なインフラ設備位置を紐づけて管理するには、画像内のインフラ設備位置を特定する技術が必要です。

3DGSを用いたドライブレコーダ画像内の設備位置特定技術
本技術では、一連の画像から3DGSにより生成した3Dデータを、広範な風景特徴を照合して参照データに重ね合わせることで高精度に位置特定します。具体的には、予め、高精度な位置情報を有する「参照3Dデータ」を用意しておき（図2 Step1）、点検画像を含む一連のドライブレコーダ画像からも同様に「点検3Dデータ」を作成します（図2 Step2）。そして、2つの3Dデータを重ね合わせることで、点検3Dデータ全体に参照3Dデータの高精度な位置情報を対応づけ（図2 Step3）、点検画像のカメラの自己位置および画像内の任意の地物の位置を特定します。これにより、ドライブレコーダ点検画像に、高精度なインフラ設備位置情報を紐づけることが可能になります。

図2　3DGSを用いたドライブレコーダ画像内の設備位置特定技術

技術のポイント
・本技術では、一連の画像から3DGSを用いて、3D形状・色・画像特徴量の情報を有する3Dデータを生成し、その広範な風景特徴を参照3Dデータと照合することで、風景特徴の多寡によらず高精度な位置特定を実現しています。
・参照3Dデータは、NTTがMobile Mapping System （MMS）^※3点検で蓄積した、高精度な位置情報を有する画像や点群データから作成します。
・Step3で3Dデータ同士を精度よく重ね合わせるため、画像特徴量および3D形状情報を併用する独自のアルゴリズムを構築しました。

検証の概要
地物がまばらな風景特徴の乏しい道路環境を想定し、NCLT公開データセット^※4を用いた検証実験を行いました。点検時に得られる位置情報（GPS等）の誤差を想定し、Step3における点検3Dデータの初期位置に1～10 mのノイズを与え、本技術によって参照3Dデータに正確に重ね合わせることができるか、100回の繰り返し検証を行いました。その結果、位置誤差の中央値0.11 mで、参照3Dデータに重ね合わせできることを確認しました。これは、隣接する別設備と間違うことなく、点検画像と設備を対応づけることができる十分な精度です。

図3　検証結果と出力イメージ

まとめ
ドライブレコーダ等の車載カメラにより撮影した画像から、画像内のインフラ設備位置を特定する技術を確立しました。本技術を用いることで、街中を走行する車のドライブレコーダから収集した電柱・標識・街路樹等の画像に、高精度なインフラ設備位置情報を紐づけることが可能になります。これにより、点検業務の効率化や高精度なデジタル台帳作成を実現し、社会インフラ維持管理の稼働・コスト削減に貢献します。

^※13D Gaussian Splatting（3DGS）
画像から高精細な3Dデータを生成する技術。3DGS is powered by Inria & Max Plank Institute.
^※2GIS（Geographic Information System）
地理的位置情報を持ったデータを総合的に管理・加工し、視覚的表示や分析を可能にする技術。
^※3Mobile Mapping System（MMS）
レーザスキャナやカメラを搭載し、走行しながら道路周辺の高精度な3次元位置情報を取得する車両搭載型計測システム。NTTでは全国の電柱・ケーブル等の所外設備の点検業務で使用。
^※4NCLT公開データセット
ミシガン大学ノースキャンパスで四季・時間帯をまたいで記録されたマルチセンサデータセット。画像撮影時のカメラの自己位置が既知。
[参考] Nicholas Carlevaris-Bianco, Arash K. Ushani and Ryan M. Eustice, University of Michigan North Campus long-term vision and lidar dataset. International Journal of Robotics Research, 35(9):1023-1035, 2015.