セキュア連合学習

連合学習とは、各組織が持つデータを一か所に集めることなく、AIモデルを学習する技術です。データを集約する代わりに、各組織が持つデータで学習されたAIモデルを統合することで学習を実現します。
NTT 社会情報研究所では、連合学習に差分プライバシー技術を組み合わせることで、より安全に高精度な学習を可能にするセキュア連合学習技術の研究開発に取り組んでいます。

セキュア連合学習の利点として、データを外部に渡さずに AI モデルを活用できるため、データのプライバシーを保護したままデータ利活用できます。これにより、組織間でデータを持ち寄らずに協力して AI モデルを学習可能になります。その結果、組織を超えたデータ活用が可能になるため、金融×ECサイト、医療×保険など新たなビジネスチャンスの創発が期待されます。

セキュア連合学習には、データの種類に応じた 2 つの手法があります。水平連合学習(Horizontal Federated Learning, HFL)は、同じ種類のデータを持つ複数の組織が AI モデルを協力して学習する方法です。例えば、複数の小売業者がそれぞれの店舗の売上データを使いながら、需要予測 AIモデルを学習する場合があります垂直連合学習(Vertical Federated Learning, VFL)は、異なる種類のデータを持つ組織が協力して AI を学習する方法です。例えば、同じ顧客の銀行の取引履歴と EC サイトの購買データを組み合わせて、購買予測AIモデルを学習する場合があります。
水平連合学習 は「同じ種類のデータを持つ組織向け」、垂直連合学習は「異なる種類のデータを持つ組織向け」という違いがあります。

セキュア連合学習を活用することで、安心・安全に高性能な AI モデルを学習することが可能になります。

fig_federated_learning.png

技術詳細

水平連合学習(Horizontal Federated Learning)の課題と技術

課題: AI モデルから学習に用いたデータが推測されるリスク
技術: 安全性の基準に差分プライバシーを採用し、差分プライバシーを保証するため勾配に付加するノイズを、AIモデルの学習方向を加味して最適化することで、AIモデルの精度とデータの安全性の両立を実現するような「差分プライバシーに基づく安全性向上技術DP-Norm[2]」を確立。

課題: 異常な行動をする組織による連合学習の破綻のリスク
技術: 水平連合学習に参加する各組織のAIモデル更新の異質性を評価することで、異常や悪意のある組織を効果的に発見し、AIモデルの統合時に除外することで、AIモデルの精度向上を実現する「ビザンチン耐障害性技術[4]」を確立。

課題: データの偏りに起因する AI モデル精度の低下
技術: 各組織が保持するデータの偏りによるAIモデルの学習方向のズレに対し、AIモデルの勾配に学習補正を加え、統合されたAIモデルの精度劣化を低減することで、各組織のデータに偏りがある場合でも高精度なAIモデルの学習を実現する「モデル学習のばらつき補正技術LG-ECL[3]」を確立。

垂直連合学習(Vertical Federated Learning)の課題と技術

課題: 複数組織間で重複する顧客が少ない(AIモデルの学習に活用可能なデータが少ない)と AI モデルの精度が低下
技術: 複数組織間で重複している顧客の学習情報の相関関係を用いて、顧客が重複していないデータの学習情報を補完することで、重複しない顧客データも活用しAIモデルの精度向上を実現する「中間表現補完技術[1]」を確立。

トピック

関連論文

[1] 深見 匠, 山﨑 雄輔, 磯貝 奈穂: "特徴量が欠損しているサンプルのデータの中間表現を補完し活用する垂直連合学習," 暗号と情報セキュリティシンポジウム(SCIS), 2025.

[2] Takumi Fukami, Tomoya Murata, Kenta Niwa, Iifan Tyou: "DP-Norm: differential privacy primal-dual algorithm for decentralized federated learning," IEEE Transactions on Information Forensics and Security, vol. 19, pp. 5783-5797, 2024.

[3] Iifan Tyou, Tomoya Murata, Takumi Fukami, Yuki Takezawa, Kenta Niwa: "A localized primal-dual method for centralized/decentralized federated learning robust to data heterogeneity," IEEE Transactions on Signal and Information Processing over Networks, vol. 10, pp. 94-107, 2024.

[4] Tomoya Murata, Kenta Niwa, Takumi Fukami, Iifan Tyou: "Simple minimax optimal byzantine robust algorithm for nonconvex objectives with uniform gradient heterogeneity," The Twelfth International Conference on Learning Representations, 2024.

[5] Kenta Niwa, Guoqiang Zhang, W. Bastiaan Kleijn, Noboru Harada, Hiroshi Sawada, Akinori Fujino: "Asynchronous decentralized optimization with implicit stochastic variance reduction," Proceedings of the 38th International Conference on Machine Learning, vol. 139, pp. 8195-8204, 2021.

関連情報