カメラを載せた点検車両を走らせるだけで、マンホール鉄蓋劣化度を推定する画像認識(AI)技術NTTメディアインテリジェンス研究所

世の中にマンホールはいくつあるか、考えたことはあるでしょうか。日本だけに目を向けても、数千以上がありそうだということは想像に難くないと思います。そんな無数とも思えるほどあるマンホールを、事故を防ぐために一つひとつ人が点検しているという事実があります。この作業負担を減らすことはできないか。 NTTメディアインテリジェンス研究所は、画像認識技術の活用により、カメラを載せた走行中の車からマンホール鉄蓋の段差や摩耗を点検できる技術を実現しました。劣化の疑われる鉄蓋を自動的に見つけ出すことで、点検作業コストの大幅削減が期待できます。今回は、鉄蓋劣化度推定技術の開発に至った経緯と技術のポイント、さらに今後の展開について研究員の村崎氏に話を伺いました。

●人的コストの削減・作業の効率化
電話線、送電線、上下水道の維持管理を目的に用いられるマンホール。鉄蓋は滑りやすく、スリップ事故等を防ぐために凹凸の模様が施されています。しかし、雨風などによる経年劣化、車両の通過によって摩耗されるため、事故防止を目的とした定期点検が必要となっています。NTTが管理しているマンホールだけで約70万個、全てのマンホールを合わせると全国に1,000万個以上あり、これらすべてを特別な訓練を受けた作業員が、一つひとつを点検している現状があります。また、離れたところから見ても正確な劣化度判別は難しいため、近くで点検する必要があります。歩道は容易に点検できますが、車道の場合そうはいきません。作業員の安全確保のため一部の道路を封鎖して点検するため、より時間のかかる作業となっています。この点検作業を容易にできるようにすることで人的コストの削減・作業効率の向上が期待できないかというのが本プロジェクトの発端となります。まず最初は、作業点検員が現場に行き撮影した画像から摩耗を推定するというアルゴリズムを開発しました。その後さらなる効率化・コスト削減を追求するため、カメラを取り付けた車でマンホール鉄蓋の上を通過するだけで摩耗と縁の段差が推定できる手法の開発に取り掛かることになりました。

●画像認識技術によって、摩耗と縁の段差を自動的に計測
マンホール鉄蓋劣化度推定処理の流れとしては、

1. 車載カメラで車が走行しながらマンホール鉄蓋を撮影します。走行中のブレをなくすためにハイスピードカメラを利用します。
2. 画像認識(AI)技術によって劣化度を推定します。
3. 得られた結果から、点検者による補修要否の判断をおこないます。

これらにより、運転免許があれば特別な技術がなくても容易にマンホール鉄蓋の劣化推定ができるようになります。

マンホール鉄蓋の自動摩耗度推定項目

●機械学習と幾何学計算を組み合わせて頑健な推定を実現
マンホール鉄蓋を車載カメラで自動検知して劣化測定するためには、いくつかの課題がありました。まず、人が撮影すれば、常に写真の中央にマンホール鉄蓋を撮影することができます。一方、車載カメラになると、下記写真のように位置や角度をコントロールすることができません。したがって車載カメラで撮影された写真から劣化度を測定できるようAIに機械学習させようとした場合、あらゆる写り方を学習データとして収集する必要があり、非常に手間がかかってしまいます。その負担を軽減させるために考えたのが機械学習に幾何学計算を組み合わせる方法です。この2つ、機械学習と幾何学計算を組み合わせて処理することが本システムの特徴になります。

車載カメラで撮影される画像は、鉄蓋の位置・向きが様々に変わるため、摩耗や段差の見え方が一定ではありません。多様な画像から機械学習によって直接的に劣化度合いを推定することは難しく、精度の良い認識のためには非常に多くの学習データが必要となってしまいます。そこで画像データから直接的に劣化度合いを認識させるのではなく、劣化度推定の処理を２つにわけることにしました。まず段差・摩耗の手がかりとなるマンホール鉄蓋の凸凹模様を抽出するという比較的簡単な認識をさせます。その後、鉄蓋とカメラの位置関係を推定し、抽出した凸凹模様の領域から幾何計算によって蓋の模様の段差を算出する処理をさせることでマンホール鉄蓋の劣化度を推定します。このように直接的に劣化度を認識させるのではなく、幾何的な制約を活用することで、見え方の変化に影響を受けず高精度に推定できる技術を実現しました。
具体的には、マンホール鉄蓋に施されている溝を「上面」「壁面」「底面」(下記画像の赤面、青面、緑面)という３つのクラスタに分けて判別できるようにしました。画像から蓋にある模様を判別する技術に関しては、認識対象を３つに絞ることで少々カメラの向きが傾いていても比較的容易に認識することができます。その後、車載カメラとマンホール鉄蓋がどういう3次元の位置関係にあるのかを幾何学計算によって推定し、これらの情報を統合してどのくらい蓋の模様の段差があるのかを推定します。

車載カメラとマンホール鉄蓋の位置関係を把握するために、本アルゴリズムはマンホール鉄蓋に特化したものになっています。注目したのはマンホール鉄蓋の形状です。マンホール鉄蓋は規格がある程度決まっていることもあり、直径何ミリなのかを事前に正確に把握できます。マンホール鉄蓋を車載カメラで撮影した場合、角度がついていることから楕円形に写ります。しかし、もともとは正円のため、どの角度で撮るとどのような楕円形になるかというのは幾何学的に計算でき、算出した結果から鉄蓋とカメラの位置関係がわかります。カメラとマンホール鉄蓋の位置関係を正確に把握してから、マンホール鉄蓋の段差が何ミリあるのかを推定していきます。

今後の課題としては、外部環境の影響に対する更なる頑健性の向上があげられます。たとえば、日が強く照っている、雨が降っているなどの天候により影の見え方が異なります。現在では撮影された画像にこれらの影響が強すぎると正確な判断が難しくなります。さらに夕方や夜の時間帯になると、ほとんどマンホール鉄蓋が見えなくなったり、撮影時にマンホール鉄蓋が別の車に隠れている可能性もあります。マンホール鉄蓋全体が見えていなくても、アルゴリズム上、写っている部分の大きさから距離を推定して、そこから段差を計算することは可能です。一部分だけ見えていれば推定することはできるのですが、見えていない部分が摩耗している可能性もあります。これらの課題に関して、現段階では「認識できない」ことを認識するという手段を検討しています。劣化状態がわからない（認識できない）という結果が判明すれば、そのマンホール鉄蓋だけ人が点検するという対応策がとれます。大部分のマンホール鉄蓋点検をこの推定技術に任せ、判断がむずかしいものだけを専門家が診断することで、点検業務の効率化やコスト削減を実現していければと考えています。

●摩耗と段差を推定する機能だけで、使える運用形態はないかを模索している。
現時点では、点検作業をおこなっている企業と鉄蓋劣化度推定技術の実運用ができるかどうかの協議をしています。車を走らせれば点検できるため、あらゆる企業との連携も考えられます。営業や故障修理などの点検とは別の業務で走行している車両にカメラを搭載することで、点検のための人員をわざわざ派遣することなく点検を終えてしまうような運用方法にも活用できます。
また、雪国では除雪車が走るのですが、マンホール鉄蓋が出っ張っていると除雪用のブレードにひっかかり故障の原因になるそうです。そのため、冬が来るたびにマンホール鉄蓋に出っ張りがないかチェックすることから、ここにもビジネスチャンスがあるかもしれません。
国内事情でいえば、高度成長期に設置したインフラ設備がどんどん劣化していると言われて久しい状況です。いかに点検コストを下げるかだけでなく、いかに点検の質を上げるかという議論において、画像処理という技術を使って貢献できないかというところが我々のチームの目的でもあります。マンホール鉄蓋の摩耗と段差を測る技術で、どのような運用形態が考えられるかをまだまだ模索中ですので、「こういうビジネスができないか？」というご意見をお持ちの方がいらっしゃれば、お気軽にお声がけください。

取材日：2018年4月10日

マンホール鉄蓋劣化度推定技術でスマートメンテナンスを実現します
（YouTube　NTT公式チャンネル）