本技術は電柱や道路付属物（ガードレール・歩行者用防護柵・標識・カーブミラー）といった社会インフラ設備の点検を効率化するために、車載カメラやドローン等で撮影した画像から設備に発生した錆を高精度に検出する画像認識技術です（図1）。
図1 技術の全体構成
車載カメラやドローン等でインフラ設備を撮影する場合、設備の位置・天候・撮影時間等の条件により撮影画像中の設備が小さいケースや暗いケースが発生し、既往技術※では錆の検出が難しいという問題がありました。そこで、AS研では車載カメラ等により様々な構図や照度条件で撮影された画像に対して、高精度に錆を検出できる画像認識手法を構築しました。 本手法のポイントは特徴の異なる3つの検出器で錆領域を検出するアンサンブル学習を用いている点です（図2）。この手法を用いることによって、一定以上の大きさで十分な照度条件下で撮影された錆から微小かつ暗所部の錆まで撮影時の構図や照度条件に制限を受けることのない高精度な錆検出を実現しました。図2における各検出器の詳細を説明します。検出器1～3および総合判定器は機械学習手法のひとつである深層学習にて構築しました。検出器1には既往手法※のモデルを用いています。この検出器1は撮影画像中の大きな錆や十分な照度で写した錆を検出します。検出器2は画像中において錆と思わしき場所を漏れなく検出できるAS研独自モデルを構築しました。この検出器2は錆に対して高い検出率を確保できる一方で、錆ではない場所を多く検出するというデメリットがあります。検出器3は小さい錆や暗い照度で写した錆を検出できるAS研独自モデルを構築しています。この検出器3は暗所部の微小錆の検出率を向上させている一方で、大きく明るいところの錆の検出率は低下します。総合判定器では、これら3つの検出器の結果から錆領域を特定します。このように1つの検出器では発見しきれない様々な特徴の錆を3つの検出器を使って高精度に検出します。
図2 技術のポイント
本手法を用いることによって、車載カメラで撮影した画像から設備に発生した錆を90％以上の精度で検出することに成功しました。検証では約2600万画素のカメラを設置した車両を用いて、電柱と道路付属物（ガードレール・歩行者用防護柵・標識・カーブミラー）の撮影を行い、電柱は245枚の画像（うち、錆は113枚）、道路付属物は1849枚（うち、錆は900枚）の画像を取得しました。これらの画像に対する本技術を用いた設備と錆の検出結果は、電柱では設備93.3％・錆92.0％、道路付属物では設備96.5％・錆90.4％でした（図3）。車載カメラでは連続で撮影を行うため1つの設備に対して複数枚の画像が取得できることから、本精度があれば錆を見逃す確率は十分に低くなり実運用に適用できると判断できます。
図3 本技術を用いた設備と錆の検出結果
NTT研究所では研究開発により社会インフラ全体の維持管理コストの増加等といった課題を解決し、持続可能な社会の実現をめざします。
※深層学習を用いた画像セグメンテーション（画素単位での検出）手法「U-net」を使用
