機器異常をマイクによる非接触で察知可能にする「異常音検知技術」NTTメディアインテリジェンス研究所

工場で動作する機器の多くは、故障や不具合の前兆として異常音が発生します。本技術は機器に直接センサを取り付けずに、工場のような非常に騒音の大きい環境下でも異常音を検知し、故障を未然に防ぐための迅速な運用・保守作業を支援します。

本技術の概要（2016年度〜）

今回ご紹介する「異常音検知技術」は、主に「集音技術」と「音響解析技術」の2つの技術から成り立っています。1つ目は、研究所独自の分散マイクロホンアレイ技術を用いて、極めてノイズの大きい工場のような場所でも機器内の音を捉えることが可能となっています。
異常検知に音を用いるのには理由があります。工場は精密機器の動作には非常に厳しい環境です。そのような中で異常を検知する機器を動かす際、たとえば振動センサやカメラ画像で機器異常を検知するアプローチもありますが、振動センサでは工場機器の熱にやられやすく、カメラでは機器の動作スピードに追いつくのは困難です。そこで本技術は、非接触でもマイクを通じてキャッチできる音を通じて異常検知を実現しています。開発を担当されている小泉氏も、「現場で働かれている熟練工の方々も、機器の発する音に耳を傾けて『どこかがおかしい』と判断されているケースが多い」といいます。音から機械の異常を判断するという方法は、実は従来からとられている方法に他なりません。
2つ目の「音響解析技術」は、こうして集音されたデータから異常音を見つけ出す仕組みです。本技術では「corevo®」の機械学習により、機器が正常に動作している状態の音声データを学習させ、この正常音からズレたものを異常音とみなす仕組みとなっています。こうした本技術の基本的な仕組みは2016年度の「R&Dフォーラム」に出展され、その後NTTデータ社の提供する「Monone®」に組み込まれる形で事業展開されています。

本技術における2017年度の新規技術

その後も本技術は、現場での運用課題やニーズを受けて改善を遂げています。その課題の1つが「非常に小さな異常音」や「正常音と似ている異常音」を見逃してしまう点でした。「見逃しは少しでも減らしたいのが現場のニーズですし、かといって異常がないのにアラートをあげてしまうとミスになる。何度も同じミスをしてしまうシステムは、そもそもユーザーからも信用されなくなってしまいます」と小泉氏はいいます。
そこで「音響解析技術」に次のような改良が加えられました。まず、少量でも得られた運用前・運用中の異常音を蓄積し、これと類似した音を検知します。その上で、すでに正常音／異常音と学習されているものとどちらに類似しているかを比較します。これにより、本技術を使って異常音のデータが蓄積されればされるほど、異常の見逃し発生率を低減させることが可能になっています。

小泉氏（以下、敬称略）： 今回ご紹介した技術の2016年度版は、現在NTTデータ社の提供する「Monone®」に組み込まれているとご説明しましたが、2015年に同社から「非接触で異常を検知できないか」との相談をいただいたのが直接のきっかけでした。プレゼンテーションでも触れましたが、工場内の機器は非常に高温になるものが多く、接触型の振動センサだと溶けてしまう問題があり、非接触でもカメラでは機器動作が高速すぎて異常を検知するのは困難です。そこで私たちはもともとマイクアレイによる集音技術等、音響に関する研究開発を専門にしていましたので、非接触型の異常音による検知ができないかとの事業ニーズを受けて、本技術の検討を始めました。本技術は大きく「集音技術」と「音響解析技術」の2つから成り立っています。前者はNTT研究所で古くから研究してきたマイクロホンアレイを進化させた、複数の離れた位置に多くのマイクを置いて集音精度を高める分散マイクロホンアレイ技術です。今回の異常音検知技術では、これを工場等の場所に適用するために発展させました。後者の「音響解析技術」は、今回の技術をきっかけに新たに開発したものです。これは機械学習、特にディープラーニングをベースにしていますが、その選択理由は従来私たちが取り組んでいた「音声信号の識別」というアプローチが難しいと分かったからでした。というのも、そもそも異常音のデータというのは正常音に比べて取得できるサンプル量がとても少なく、それに合致するものだけを検知するのには無理がありました。そこで私たちは発想を大きく変え、「正常音を学習し、そこからズレたものを異常とみなす」という本技術の方式を新たに考案しました。

小泉：そうですね。音で異常を検知するというアプローチはかなり以前から研究されており、古くはルールベースといって「ここのベアリングが壊れれば、こういった異常音が鳴る」といった因果関係を元に検知するものが主流でした。これは機器内の機構が分かっていれば実現できますし、実際にメーカー各社から自社製品用に提供されているケースも多くあります。しかし、逆にいえば特定の機器に限定されてしまうため横展開が容易ではありません。これに対し私たちの技術は、様々な環境下における機器であっても汎用的に適応可能な技術を目指していますので、この点が従来とは大きく異なる優位性です。
また機械学習を用いたアプローチもいくつか学会等の場で見られるようになってきましたが、今回のプレゼンテーションで「2017年度の新規技術」として紹介したような、異常音も含めて学習精度を高めていくアプローチはまだ類例がありません。この点も優位性となっています。

小泉：本技術はまさに横展開可能な技術を目指すべく、様々な現場でテスト的に運用をさせていただいており、私も現場に出向いて設置や調整等の作業を行ってきました。というのも、やはり現場に行かなければ分からないことも多いからです。
その中では苦労もありましたが、たとえば騒音1つとっても、飛行機のジェットエンジンの背後に立つほどの騒音で、耳栓がなければとても立っていられないような場所で設置作業を行ったこともありました。また現場の状況にあわせた工夫も重ねてきました。研究そのものとは一見関係ないように見えるかもしれませんが、様々な現場で適用できる技術に鍛え上げていくにはこうした経験も欠かせませんし、何より研究室にこもっていては絶対にしないようなことばかりでしたので、私自身も非常にやりがいを持って取り組んでいます。

小泉：昨今では「Industry 4.0」といって製造業の分野でいかにIoTやAIを活用するかが大きな潮流になっていますので、本技術は非常に注目をいただいています。実際、工場の機器が故障すると生産ラインがストップしてしまい大きな損失を生むわけですから、事前にそれを検知可能な本技術は大きく期待されており、引き合いの声も多数いただいています。また本技術の「正常音から外れたものを異常音とみなす」方式は学術的にもインパクトがあり、昨年ギリシャの国際学会で発表した際にも多数の反応をもらいました。
ただし、本技術はまだ試験的運用の段階です。私たちは「狼少年であってはならない」と表現しているのですが、こうした異常検知を行うシステムには異常音の検知漏れや正常音の誤検知があってはいけません。なぜならそうしたシステムは、何度かミスを犯すうちに信用されなくなってしまうからです。これを避けるべく、現在は精度向上に向けて本技術を磨いているところです。

小泉：技術的には「学習コストの削減」と「検知精度の向上」の2点が課題と考えています。
まずコスト削減の1つとして、現在は異常音を検知したい機器に1つずつマイクを取り付けていますが、その中には同じ機種もありますので、「1つ集音すれば他の同一機種の学習は不要、もしくは短縮できる」といった方式が実現できないか検討中の段階です。
また本技術は音声データを通じて正常音を学習していますが、どうしてもデータ量が膨大になります。確かにディープラーニングはデータ量が多いほど学習は進みますが、とはいえ基本的に機器というのは正常に動作しているわけですから、正常音を学習するのにそこまで膨大なデータは必要ありません。そこで、現在よりも短期間で学習を完了させ、データも削減する手法も考えています。
さらに精度向上面での課題ですが、本技術はいわゆる機械学習における「画像認識」や「音声認識」といった識別問題とは異なります。画像や音声であれば、その認識対象に「何が写っているのか」「"あ" なのか "い" なのか」を識別すればよいのですが、本技術ではこのように「正常か異常か」を単純に分けることはできません。なぜなら機械学習的には普段は発生していない「正常ではない音」だとしても、実は機器動作的には正常な動作音ということもありますし、逆に正常音に限りなく近いけれども異常というケースもあるため、実は機械学習としても従来にない難しい問題を扱っています。そこでいま検討しているのは、上のような誤認識を繰り返さないよう、ユーザーの側で「この音は実際には異常ではない」といった正解を学習させることのできる「教師あり異常音検知技術」の導入です。特に長期的に利用されるお客様に向けて、こうした検知精度を高める仕組みをとりいれることでサービス価値を向上できればと考えています。
これらの課題はいずれも解決すれば学術的なインパクトもありますし、ビジネス展開面での貢献にも繋がりますので、今後の展開にぜひご期待いただければと思います。

小泉：私たちのグループは音響・マイクの技術を長年研究していますので、今回のように「工場のような騒音の大きな環境で使いたい」といったニーズがありましたら、ぜひ私たちの専門知識やノウハウを活用していただければと思います。そしてそういった事業ニーズからこそ、今回のような新たな技術を生み出すきっかけにも繋がりますので、「こうした問題を解決したい」といった困りごとがありましたら、ぜひ一度ご相談いただければ幸いです。

取材日：2018年6月20日
インタビュアー：濱野 智史 （rakumo株式会社）

異常検知のコアアルゴリズムについて
[1] Y. Koizumi, et al., "Optimizing acoustic feature extractor for anomalous sound detection based on Neyman-Pearson lemma," in Proc. of EUSIPCO, 2017.

分散マイクロホンアレーについて
[2] Y. Koizumi, et al., "Distant Noise Reduction Based on Multi-delay Noise Model Using Distributed Microphone Array," in Proc. of EUSIPCO, 2018.

システム全体について
[3] H. Uematsu, et al., "Anomaly Detection Technique in Sound to Detect Faulty Equipment," NTT Technical Review, 2017.