社会情報研究所の連合学習研究を発信 | AI・機械学習の最難関国際会議 NeurIPS2025参加レポート
#セキュリティ #機械学習
記事の概要
2025年12月にNeurIPS2025に参加し、企業ブースにてグループのこれまでの研究成果を発表してきました。本記事では、会議の雰囲気、社会情報研究所が発表した研究の概要、参加者の注目論文についてお伝えします。
1. はじめに
AIの活用が社会のさまざまな分野に広がるにつれて、「AIの学習に用いるデータをどれほどまで集めることができるのか」という問題がますます重要になっています。医療・金融・企業活動など多くの分野では、組織を横断してすべてのデータを集めて学習すればAIの性能は飛躍的に向上します。しかし、実際に組織を横断してデータを集めることには、プライバシーや制度が大きな障壁となります。こうした背景から、「データを集めずに学習する」機械学習技術である連合学習の研究が世界的に注目されています。
こうした課題を含め、AI・機械学習に関するさまざまな最先端の研究テーマが議論される場の一つが、国際会議NeurIPS (Annual Conference on Neural Information Processing System)です。本記事では、NeurIPS2025への参加報告を通じて、社会情報研究所の連合学習技術の研究内容や会議の様子を紹介します。
2. NeurIPSとは？
NeurIPSは、2025年に39回目の開催を迎えた、AI・機械学習に関する最難関国際会議の一つです。AI・機械学習の基礎理論から、応用までを幅広く扱っています。
UC SandiegoにあるConvention CenterとMexico CityにあるHilton Reformaの二箇所で2025年11月30日から12月7日に開催されました。公式プログラムを二つの物理的な開催地で並行して実施する形式は、NeurIPSとして初の試みでした。参加者はオンライン込み２万9千人程度、論文の採択率は約24.8%（5290/21575）でした。
NeurIPSでは本会議に加えて、Datasets & Benchmarks Track などの併設トラックが設けられており、データセットや評価指標の整備・共有を重視している点も特徴の一つです。また、同分野の同じく最難関国際会議の一つであるICMLに続く形で Position Paper Track も導入されており、研究コミュニティへ問題提起や新しい研究方向を議論するような論文の発表も複数ありました。
3. NeurIPS2025企業ブースでの出展内容
NeurIPS 2025では、スポンサー企業や研究機関が研究成果を紹介する企業ブースが設けられていました。参加者にとっては、企業や研究機関で行われている研究内容に加えて、採用やインターンの情報を得る場にもなっていました。こうした企業ブースの一角でNTTはSilver Sponsorとして出展し、NTTの複数の研究所からAIに関連した研究を行っているチームが参加し、それぞれの部署で取り組む研究を紹介しました。
私たちは、社会情報研究所で安全なデータ流通をめざした研究開発に取り組む部署として参加し、データを安全にAIで利活用するための技術として、過去のNeurIPSでも活発に議論されている連合学習の研究を中心に紹介しました。社会情報研究所の連合学習研究を紹介するにあたり、ここでは簡単に連合学習の背景を説明します。
連合学習は、企業や組織が分散して保持するデータを一箇所に集約することなく、一つのAIモデルを学習するための技術です。連合学習では、各組織がそれぞれのデータを用いたモデルの学習を行い、そのモデルを一箇所に集約しそのパラメータを平均化し、再度各組織でモデル学習を行うことを繰り返します。これにより、データを一箇所に集約することなく協調的に一つのモデルの学習を複数組織で進めることが可能になります。一方で、一般的な連合学習には、①各組織が持つデータの量や統計的性質の違い（非一様なデータ分布）によりモデルの精度が劣化しやすい、②モデルの共有を通じて各組織のデータがモデルから推定されるデータ漏えいリスクがあるという二つの課題があります。
私たちはこれらの課題に対して、それぞれA：学習精度の劣化を抑える技術[1]と、B：差分プライバシーの考えに基づきデータ漏えいリスクを低減しつつ精度を保つ技術[2]を、段階的に研究してきました。まずAでは、非一様なデータ分布に起因する学習勾配のばらつきがモデル更新を不安定にする点に着目しました。モデル更新を安定して行うために、学習勾配のばらつきを補正する仕組みを導入した手法を提案しました。これにより、現実の連合学習環境で想定されるような非一様なデータ分布下においても、モデル更新を安定させ、精度劣化を抑えることができました。次にBでは、モデルからのデータ漏えいリスクを低減する一般的な方法として、差分プライバシーの考え方に基づき学習勾配にノイズを加える手法を検討しました。しかし、単純に学習勾配にノイズを加えると、Aで導入した補正項が過度に大きくなり、モデル更新が再び不安定になるという新たな課題が生じました。そこで、補正項に対してL2正則化を導入し、その大きさを制御する手法を新たに設計することで、学習に用いるデータのプライバシー保護と安定した学習の両立を図りました。私たちは、これらの差分プライバシーと分散最適化の知見を活かし、過去のNeurIPS 2023で開催されていたビジネス文書画像読解タスクを対象として、差分プライバシーに基づきデータの漏えいリスクを低減する連合学習のコンペティションに参加し、Runner-upも獲得[3]しました。
これらの連合学習における主たる課題に取り組む研究に加えて、私たちはより発展的なテーマの研究にも取り組んでいます。例えば、連合学習において各組織の学習の状況に合わせて差分プライバシーにおけるプライバシ保護の強さを動的に調整しながら学習できる技術 [4]や連合学習において一部の組織のデータに異常が含まれる場合でも安定して学習できる技術 [5][6]も確立してきました。さらに、昨今発展が目覚ましいLLMを用いたデータ利活用を見据え、学習時だけでなく推論時におけるデータ漏えいリスクにも着目し研究を進めており、差分プライバシーを用いたプロンプトエンジニアリング技術 [7][8]なども確立しています。ブースではこれらの発展的なテーマを含む幅広い研究の方向性を紹介しました。
こうした展示内容を踏まえ、会場では多くの来場者に足を止めていただき、研究内容やNTTの取り組みについて活発な質疑を行うことができました。特に、プライバシー保護に配慮した機械学習を前面に打ち出した展示は多くなかったこともあり、技術的な関心を持つ参加者からの質問が多く寄せられました。また、NTT Research Inc.が米国・Sunnyvaleに拠点を構えていることから、それを知っている方や、日本に関心を持つ海外の学部生を中心に、幅広い層の方にブースを訪れていただくことができました。
4. 参加者のおすすめ論文の紹介
おすすめ論文 1：
Tu et al., "A Reliable Cryptographic Framework for Empirical Machine Unlearning Evaluation" [9]
(おすすめした人：山﨑)
この論文は、AIモデルから学習に用いられた特定のデータを忘れさせることを目的とした忘却手法において、どの程度忘却できているかを評価するための理論的な枠組みと、その評価指標を効率的に計算する手法を提案しました。
従来は、忘却対象データがAIモデルの学習に含まれていたかを統計的に識別を試みる Membership Inference Attack（MIA） に基づいて評価されてきました。しかし、MIAによる評価は経験的な攻撃設計や試行に強く依存し、評価結果のばらつきが大きいため、忘却対象を含まずに最初から再学習した理想的なモデルに対しても、MIAによる識別が完全には消えないという指標の信頼性の低さが課題でした。
本論文では、忘却後のAIモデルを用いて対象データが学習に含まれていたかをMIAにより識別できるかという問題を、防御者（忘却手法）と攻撃者（識別者）からなる暗号論的ゲームとして定式化し、攻撃者の識別能力そのものを数理的に定式化し忘却の評価指標として定義しました。さらに、この指標を現実的な計算量で近似的に計算するアルゴリズムを提案し、理論的解析と実験の両面から、従来指標より安定かつ妥当な評価が可能であることを示しました。
おすすめ論文 2：
Wei et al., "MARS-VFL: A Unified Benchmark for Vertical Federated Learning with Realistic Evaluation" [10]
(おすすめした人：深見)
Vertical Federated Learning（VFL）は、複数の参加者が特徴量を分割したまま協調学習を行う重要なプライバシー保護型学習手法です。しかし、プライバシー制約のため、VFLの評価に利用可能な実世界データセットは極めて限られており、多くの既存研究は人工的かつ非現実的な設定が用いられてきました。このような背景のもと、この論文は現実的な条件下でVFL手法を公平に評価するための統一ベンチマーク MARS-VFL を提案しました。
MARS-VFLは、実応用に基づく特徴分割データを統合し、VFLの設定と整合した形でデータを構築しています。さらに、本ベンチマークでは、学習精度に加えて、計算・通信効率、ロバスト性、安全性といった主要な評価観点を体系的に標準化しています。これに基づき、代表的なVFL手法に対して包括的な実験評価を行い、手法間の性能差や適用条件への依存性を明らかにしています。また、従来十分に扱われてこなかったVFLにおけるロバスト性課題を初めて統一的に整理し、評価手法を確立しています。加えて、ロバスト性向上のための新たな手法を導入し、今後の研究に向けた標準的ベースラインを提示しています。
おすすめ論文 3：
Chao et al., "Pay Attention to Small Weights" [11]
(おすすめした人：磯貝)
大規模モデルのファインチューニングは計算量・メモリ負荷が大きく、Adam使用時には各モデルパラメータに対して勾配の1次と2次のモーメントを持つために、モデルパラメータ数をNとすると、ファインチューニング時におおむね3Nのメモリを要するという課題があります。
本論文はファインチューニング中の勾配の大きさと重みの大きさの関係を分析し、勾配が大きいパラメータほど重みが小さい傾向があることを明らかにしました。これを踏まえて、勾配情報なしに更新するモデルパラメータの決定可能な手法であるNanoAdamを提案しました。
提案手法では、ファインチューニング後もベースモデル由来の大きな重みの多くが未更新で残ります。これにより、事前学習での重要な情報をモデルに保持しやすくなり、ファインチューニング後の汎化性能と忘却耐性が向上します。さらに、誤差フィードバック機構を必要としないことから、蓄積誤差を保存する必要がないためメモリ効率が向上します。実際、NLP(GLUE)と画像分類タスクによる実験から、先行研究と比較してメモリ・計算効率が改善されたことを示しました。
5. おわりに
NeurIPS 2025では、データを集めずに安全に機械学習に活用するセキュア連合学習学習を中心に、安全なデータ利活用を促進する技術を紹介しました。私たちは、安全なデータ流通をめざし研究開発を進めています。AIを活用してデータを安全に利活用し、データそのものを守りながら、その価値を最大限に引き出すことが重要だと考えています。この課題に取り組み、国際的に通用する成果を着実に積み上げてきたことが、私たちの強みです。これらの研究成果をベースに、急速に発展するAIを活かしながら、安全なデータ利活用を着実に、そして迅速に前に進めていきたいと考えています。
「データを集めずに価値を生み出すAI」はどこまで賢くできるのか。こうした問いを、研究コミュニティや社会の皆さんと一緒に考えていきたいと思います。この取り組みに共感できる方がいらっしゃれば、ぜひご一緒できれば嬉しく思います。
参考文献
[1]I. Tyou, T. Murata, T. Fukami, Y. Takezawa, and K. Niwa, "A localized primal-dual method for centralized/decentralized federated learning robust to data heterogeneity," in IEEE TSIPN, , vol. 10, pp. 94-107, 2024.
[2]T. Fukami, T. Murata, K. Niwa and I. Tyou, "DP-Norm: Differential Privacy Primal-Dual Algorithm for Decentralized Federated Learning," in IEEE TIFS, vol. 19, pp. 5783-5797, 2024.
[4]T. Fukami, T. Murata, and K. Niwa and I. Tyou, "Adaptive Clipping for Differential Private Federated Learning in Interpolation Regimes," in TMLR, 2025.
[5]T. Murata, K. Niwa, T. Fukami and I. Tyou, "Simple Minimax Optimal Byzantine Robust Algorithm for Nonconvex Objectives with Uniform Gradient Heterogeneity," in Proc. of ICLR, 2024.
[7]Y. Yamasaki, K. Niwa, D. Chijiwa, T. Fukami and T. Miura "Plausible Token Amplification for Improving Accuracy of Differentially Private In-Context Learning Based on Implicit Bayesian Inference," in Proc. of ICML, 2025.
[9]Y. Tu, P. Hu and J. W. Ma, "A Reliable Cryptographic Framework for Empirical Machine Unlearning Evaluation," in Proc. of NeurIPS, 2025.
[10]W. Shen, W. Liu, M. Chen, W. Huang and M. Ye "MARS-VFL: A Unified Benchmark for Vertical Federated Learning with Realistic Evaluation," in Proc. of NeurIPS, 2025.
[11]C. Zhou, T. Jacobs, A. Gadhikar and R. Burkholz, "Pay Attention to Small Weights ," in Proc. of NeurIPS, 2025.
