IoTサービスの安定運用を自律的に維持するプロアクティブ流量制御技術

我々 NIC は、キャリアネットワークにおけるサービス構築・監視・保守・復旧といったオペレーションの設計に「自律マイクロオペレーション技術」を取り入れています^{[1] [2]} 。本技術により人の手を介さずにシステム自律で動作する機能部（ワーカ）を個々に分離・個別動作可能として構成（マイクロサービス化）することで、高度化するネットワークに対する極限までのオペレーション省力化をめざすとともに、最小限の変更で機能追加・仕様変更・ロジック改修の対応を可能としています。
今回は、自律マイクロオペレーション技術によってマイクロサービスとして実現した自律制御技術の一つであり、運用中に変動し続けるクラウド環境においても、サービス性能の劣化を未然に防ぎながら最適な流量制御を維持する「プロアクティブ流量制御技術」について説明いたします。

近年、様々なIoTデバイスについて、モバイル網に接続してクラウド基盤上のアプリケーションと連携することで、データ分析・遠隔制御などを実現することが可能となっています。IoTデバイス向けのネットワークでは、IoTデバイスからアプリケーションへの接続リクエストが同時・大量に発生すると、アプリケーションの負荷超過によって応答時間が増大する恐れがあるため、通信を仲介するプロキシサーバで最大同時接続数を設定し、流量制限を行います。

この最大同時接続数は、従来は負荷試験によって、アプリケーションの応答時間があらかじめ定めた性能諸元を超えない範囲で出来るだけ多くの同時接続数を担保できるよう調査・決定していました。しかしクラウド基盤では、基盤を構成する装置で故障やメンテナンス、リソース再配置などにより運用中に性能特性が変動するため^[3] 、事前試験で決めた設定値は時間とともに陳腐化してしまいます。その結果、性能劣化がアラームやユーザ影響として顕在化してから、設定を見直すという後追いの運用にならざるを得ませんでした。
そこでNTTでは、性能劣化が顕在化する前段階の兆候を捉え、設定値を先回りで調整するために、プロキシサーバの最大同時接続数設定を自律的に制御する設定変更ワーカをクラウド基盤上に配置しました。本ワーカは、単に現在の負荷に反応するのではなく、応答時間分布の変化を継続的に観測・評価することで、将来的な諸元値違反のリスクを定量的に把握します。
設定変更ワーカは、プロキシサーバのログから応答時間を集計した統計値を用いて、サービス品質を評価します。このとき、すべてのログを対象としてしまうと、プロキシサーバでリクエストをブロックした際のログの応答時間が0となり性能の変化と連動しなくなってしまいます。そのため、アプリケーションで処理が行われたログのみを対象として集計します。
統計値には、xパーセンタイル値といった外れ値に左右されにくい指標を用いています。
この統計値を用いた評価結果に基づき、性能劣化の兆候が見られる場合には諸元値違反に至る前に最大同時接続数を抑制し、一方で十分な余裕が確認できる場合には、過剰な制限とならないよう段階的に制限を緩和します。

このように、ワーカが自律的に実行するClosed Loop^*1は、単なるフィードバック制御ではなく、従来は人が行っていた「負荷試験」「設定見直し」「再調整」といった運用判断を、サービス提供中に継続的に実行する仕組みです。これにより、運用を止めることなく、環境変動に追従しながら最適な設定値を探索・維持することが可能となります。
本技術により、将来的な諸元値違反が発生する前に流量制限を強化したり、運用者による気づきや手動対応を待つことなく制限を緩和したりといった、「問題が起きてから対応する」のではなく「問題が起きない状態を維持する」プロアクティブな流量制御を実現しています。

この記事では、「自律マイクロオペレーション技術」によってマイクロサービスとして実現した自律制御技術の一つ「プロアクティブ流量制御技術」について紹介しました。
NIC では、他にも故障時のアラーム対処などの様々なマイクロサービスを開発し、キャリアネットワークに盛り込んでいます。また、今後もシステム自律でのオペレーションを推進するための研究開発を進めていきます。

^*1 監視・解析・判断・対処の一連のプロセスをシステムが自動で循環させる仕組み

[1] 複数サービスを一括で構築・保全可能とするワンストップオペレーション技術 | NIC Tech Talks

[2] 移動固定融合時代のオンデマンドな機能提供を可能にするネットワーク仮想化技術 | NIC Tech Talks

[3] メンテナンス イベント中のライブ マイグレーション プロセス | Compute Engine | Google Cloud Documentation