AI競争の差別化要因となる「Deep Learningのコアな研究/技術」NTTソフトウェアイノベーションセンタ

近年、AI技術の中でも特にDeep Learning（深層学習）をめぐる競争が激化しています。これに対しNTTソフトウェアイノベーションセンタ（SIC）では、独自の学習アルゴリズムの研究やAI処理基盤「CCI（corevo Computing Infrastructure）」の開発を通じて、同分野におけるNTTグループの差別化に貢献しています。今回は、これらの研究開発を手がける皆様にお話を伺いました。

技術その1: 学習高速化アルゴリズム

近年、Deep Learningは画像認識・音声認識・機械翻訳といった分野で活用され、大幅な精度の向上を実現しています。Deep Learningは「深層学習」とも呼ばれ、その名が表すように複数の階層にわたって入力信号を重み付けする構造が精度向上に寄与しています。この重みを、 精度が高くなるように繰り返し更新する処理を学習と言います。しかしDeep Learningには学習に時間がかかるという課題があります。

これに対しSICの井田氏が研究したアルゴリズムでは、従来手法よりも2〜5倍ほどの学習時間の短縮を実現しています。これは重みの更新の方式を効率化することで、epoch数と呼ばれる学習回数を削減しているからです。本方式は2017年のIJCAI（国際人工知能会議）で採択され（※1）、NTTのAI関連技術「corevo®」の1つとなっています。

1. ※1:Y. Ida, et al., “Adaptive Learning Rate via Covariance Matrix Based Preconditioning for Deep Neural Networks”, IJCAI 2017.
   https://www.ijcai.org/proceedings/2017/0267.pdf

技術その2: AI処理基盤「CCI（corevo Computing Infrastructure）」

AI競争の隆盛を受けて、「Deep Learningを試してみたい・使いたい」というニーズは増加していますが、その環境を準備するのは容易ではありません。特に大規模データを扱う場合には分散処理技術の構築・運用ノウハウが求められ、様々な学習・分析用のフレームワークを扱う必要があります。またAI関連のソフトウェアは非常に数多く存在しているため、頻繁なバージョンアップのたびに環境を更新・移行するコストもかかります。
これらの課題を解決するのが、AI処理基盤「CCI（corevo Computing Infrastructure）」です。データの蓄積・管理から学習・分析、そして運用・構築に至るまでのDeep Learning関連技術をパッケージ化したもので、利用環境や目的に合わせた環境のセットアップが可能です。先述した学習高速化アルゴリズムのように、研究所独自のAI技術「corevo®」も組み込まれているため、すぐにその機能を使うこともできます。
開発を担当された江田氏によれば、本技術はSICの中でも組織横断的なプロジェクトとして開発が進められました。Deep Learningの研究者以外にも、分散処理技術・コンテナ技術・運用監視技術等に関わる各エキスパートが集まり、互いにフィードバックをしあうことで短期間のうちに開発を実現できたと江田氏はいいます。本技術を大規模分散環境で運用した実績は、2018年にバンクーバーで開催された「OpenStack Summit」でも発表され（※2）、今後もさらなる機能拡張が予定されています。

1. ※2:Case Study: Large Scale Deployment for Machine Learning with High Speed Storage | OpenStack Summit Videos
   https://www.openstack.org/videos/vancouver-2018/case-study-large-scale-deployment-for-machine-learning-with-high-speed-storage

井田氏（以下、敬称略）：私は2014年からDeep Learningの高速化アルゴリズムの研究を始めました。Deep Learningは2012年に画像認識のコンテストで飛躍的な精度向上を実現したことで、世界中で開発競争が始まりましたが、まず課題になったのは「膨大な学習時間がかかる」ということでした。そこでGoogleやFacebookなどはハードウェアの設備投資に力を入れたのですが、私たちはソフトウェア、つまりDeep Learningのアルゴリズムを改善するアプローチを採用しました。ソフトウェアの改善であれば、ハードウェアへの投資が要らずに低コスト化を実現できるからです。
今回ご紹介した高速化アルゴリズムは2〜3年前には技術として出来上がっており、特許も取得していたのですが、国際学会での発表には2017年までかかりました。これは世界中で競争が広がり、なかなか論文が通りにくくなっている状況も背景にあったからです。現在はCCIの1モジュールとして組み込まれており、CCIと同じく2018年2月に開催された「R&Dフォーラム2018」に出展しました。

江田氏（以下、敬称略）：私が担当したCCIは、2017年の夏頃にSIC内での検討が始まりました。その背景として、もっとDeep Learningを手軽に試すことのできる環境整備が必要だと考えたからです。Deep Learningを扱うには、GPUや大規模ストレージ等を購入する必要がありますし、AI関連以外にも分散処理技術やコンテナ技術等、様々なソフトウェアを扱う必要があります。これをAI研究者が1人で扱うのは無理があります。そこでSICでAI基盤を提供し、こうした課題を解決したいと考えました。
ちょうどこの頃、SICの中で組織横断的なプロジェクトを進める動きがあり、CCIはその1つとして2017年の秋頃に開発がスタートしました。CCIは数ヶ月後の「R&Dフォーラム2018」での公開をマイルストーンとしたため開発にはスピード感が求められましたが、井田のようなAI研究者と分散処理やコンテナ技術に長けた研究者が部署をまたいだチームを組むことによって、「実際に基盤を開発し、そこでAIの処理を動かして、その結果を元にCCIに改善を加える」というDevOps（開発-運用）のサイクルを回して、非常にスピーディな開発を実現できました。

稲家氏（以下、敬称略）：江田からも話があったように、SICでは現在、組織を横串しするようなプロジェクトを複数展開しています。CCIはその1つで、井田の研究した国際的にも認められたアルゴリズムを、事業会社の皆様にすぐに使っていただける基盤になっています。
今回ご紹介した技術は「R&Dフォーラム2018」への出展後、今年6月にNTT東日本から報道発表のあった「スマートイノベーションラボ」というAI関連の共同実証環境に採用されました（※参考： AI・IoT技術の社会実装を加速させる「スマートイノベーションラボ」設立について～パートナー企業や大学などと社会課題解決に向け共創～ | お知らせ・報道発表 | 企業情報 | NTT東日本）。現在も、CCIは複数の事業会社への展開が進んでいます。

井田：プレゼンテーションでもお話したように、従来の2倍〜5倍の速度で学習できる点が優位性になります。ただし2014年当時から様々な周辺技術が発展したため、単純な比較はしづらくなっています。それでも私たちのグループでは、今回ご紹介した学習高速化アルゴリズムだけではなく、学習の安定化やメモリ消費量の削減といった技術も研究しており、「Deep Learningを理論的に解明しソフトウェアベースで改善する」というアプローチを変えてはいません。最大手の競合としてはGoogleが挙げられますが、その研究成果はGPU等の計算資源を膨大に利用しているため再現が難しく、ここが私たちのアプローチと大きく異なる点です。

江田：CCIの優位性として、井田のようなAI研究者がつくったアルゴリズムをすぐに利用できる点が挙げられます。また現状はGPUが主体となっていますが、今後は研究所の成果を活かして、FPGA（field-programmable gate array）やLSIといったハードウェアを独自に作る方向性も考えています。ある問題に特化したハードウェアを開発してCCIをより高速化できれば、NTTグループのAI研究者がより研究を迅速に行えるようになります。

井田：Deep Learningの学習というのは非常に汎用的な技術で、音声認識や画像認識をはじめ、あらゆる場面で用いられます。そのため研究も非常に盛んに行われており、思いついたアイディアはすでに試されていることもしばしばです。そうした中で、本技術のようにきちんと差別化した技術を開発し、論文としてまとめるのには苦労しました。
また本技術は2014年頃から開発したと先ほどお話しましたが、当時はまだSICの中でもDeep Learningが今ほど重要視されていなかったため、所内での理解を得るという点でも苦労しました。開発をしようにもDeep Learningで必須となるGPUが当初は2枚しかなく、研究の環境を整えるのにも一苦労でした。

江田：私は3年前に事業会社からSICに移り、最初は画像処理系のアプリケーションの開発を手がけていました。その開発を進める中でGPUが大量に必要なことが分かり、それらを使った環境構築に非常に苦労しました。AIの研究開発には、まずそのための環境整備こそが重要ではないかと考えた頃、ちょうどCCIの開発プロジェクトが立ち上がりました。
私はソフトウェアやアルゴリズムに近い分野を専門にしていましたので、ハードウェアやネットワークの管理については詳しくなかったのですが、SIC中から各分野のスペシャリストが集まってくれたことで、驚くようなスピードでCCIという基盤を構築できました。これは私一人では絶対にできなかったことなので、このスピード感は非常に大きな成果だったと感じています。

稲家：各事業会社の皆様からは、AI分野における差別化技術をパッケージとしてすぐに利用できると高い評価をいただいています。アルゴリズムが画期的でも、それ単体では事業会社の皆様からはどう使っていいのか分かりづらいと思いますが、CCIという基盤があることで導入に向けた話がしやすくなり、実際に横展開も進んでいます。
またDeep Learningの分野はオープンソース系の技術が大半なため、他社と異なる提案をするのが難しいのが実情としてあります。そのため、他社との競争となる営業案件、たとえば公共系の案件では、こうしたNTT独自の差別化要素が選ばれる要素になると好評をいただいています。

井田：「R&Dフォーラム2018」ではNTTグループ内からも多くの反響をいただきました。もともと出展する以前から、NTTグループ内でDeep Learningについて情報交換をする「DL連絡会」があり、私もそこで本技術に関する発信を行っていました。こうした下地もあったおかけで、フォーラムでは多くの方にご来場いただき、その後も興味をもってメールでご質問をいただいたりと、本技術に対する関心の高さを感じました。
また事業会社の皆様からは、サービス展開を強く意識したご要望も伺うことができました。Deep Learningは事業レベルでも活用が始まっていますので、たとえばランニングコストを下げるためにGPUではなくCPUを動かしたいといったお話や、ドローンにAIを搭載するために予測モデルを軽量化できないか等、具体的な声をいただいています。

江田：フォーラム出展後、今年度のCCIの検証を行うべく、各研究所内へヒアリングを行いました。各研究所には世界でもトップクラスのAI研究者がいるのですが、「Deep Learningをもっと大規模に使いたいが、GPUの分散処理や運用管理まで手が回らない」といった声を多く聞きました。実際Deep Learningの分散処理基盤を構築するには、ネットワークやストレージも込みで環境を整備する必要があり、クラウドで簡単に計算資源を購入・運用するというわけには行きません。そこでSICがCCIという形で基盤を提供し、各現場ごとにカスタマイズやチューニングもできるチームを擁しているのは、研究の底上げという観点からも意義が大きいと実感することができました。

井田：今回ご紹介したのは学習の高速化でしたが、これ以外のアプローチにも取り組んでいます。その1つが、学習の結果つくられる予測モデルの軽量化です。深層学習ではたくさんの層を重ねて予測モデルを作りますが、層数が多いほどメモリ消費量も計算時間も増加していきます。そこで私たちは、認識精度を下げることなく層数をいかに減らすかという研究を手がけています。これはアプローチとしては独特なもので、いわば「浅い深層学習」といえます。こちらは学会発表はまだですが、特許はすでに取得しています。今後はIoTセンサ・ドローン・ロボット等にDeep Learningの予測モデルを組み込むケースが増えてくると思いますので、こうした事業寄りの研究課題に取り組んで行きたいと思います。

江田：CCIの新たなバージョンを次回のR&Dフォーラムに出展する予定です。最初のCCIでは1ユーザーのみが基盤を利用する想定で開発していましたが、次のバージョンでは複数のユーザーがリソースを共同利用するのに必要なジョブスケジューラ等の機能を実装予定です。
また今後の展開面として、次に課題になるのはDeep Learningにかけるための膨大なデータだと考えています。データという宝の山は事業会社にこそあると思いますので、それらを活用した事業貢献につなげていきたいと考えています。

江田：今回ご紹介したCCIの開発もそうですが、SICではDeep Learningに関する人材も育っていますし、今後もNTT独自のアルゴリズムを次々と提供する予定です。そこで次の課題となるのは、先ほどお話した事業会社の皆様が持っているデータといかにCCIをつなげて事業貢献していくかです。Deep Learningの分野では大量の実データを利用することが必要条件となっており、用いるデータ次第で性能が全く変わることがあります。NTTが持つ様々な実データでDeep Learningの新しいアルゴリズムを構築・検証すれば、独自の技術をもっと生み出していけると考えています。何かDeep Learning関連でご相談がありましたら、すぐヒアリングに伺いたいと思いますので、お気軽にお声がけください。

井田：研究者としては国際会議等の場でアピールすることも重要だと考えていますが、いま江田からも話がありましたように、NTTグループという通信キャリアならではのAI技術の展開を打ち出せればと考えています。たとえばネットワーク関連やクラウド関連の膨大なログデータを用いた研究や検証ができれば、NTT独自のAI技術を生み出せると思います。私たちとしては、皆様の事業課題を解決する研究を手がけたいと思っておりますので、何かお悩みのことがあればお問い合わせいただければ幸いです。

稲家：Deep Learningの競争は世界規模で激化しており、重要なのは「One NTT」のスタンスだと思います。研究所は組織体制上、抱えられる人材の規模に限りがありますし、いまAI関連のエンジニアは引く手あまたでなかなか確保することも困難です。NTTグループの各社それぞれの取り組みでは、数人単位のベンチャーとさして変わらない規模感となってしまいますが、NTTグループ全体ではAIに関わる人材やチームも多くなりました。そこで私たちNTTグループが文字通り「One NTT」として束になって連携できれば、まだ規模的にも勝負できる余地がありますし、いま江田や井田からも話があったようにNTT独自のポジションを確立することもできると考えています。「One NTT」として力を結集するためにも、Deep Learningに少しでも興味や関わりのある方は、先ほど井田から話のあった「DL連絡会」等の場でも構いませんので、ノウハウ等を共有し、連携/連帯しながら、ぜひご一緒に世界の中で戦っていければと思っております。

取材日：2018年8月2日
インタビュアー：濱野 智史 （rakumo株式会社）