交通ダイナミクスやAIモデルの分散学習技術
IOWNがもたらす高速通信社会において自律分散型の全体協調制御をめざします
背景・目的
IOWNでめざしている高速通信社会が実現した世界におけるAIの相互運用について考えてみましょう。例えば、以下のようなアプリケーションが該当します。
- 交通網の効率制御：AIモデルによって駆動する自動運転車が通信を介して相互に作用しながら、自律的に渋滞や衝突を回避し、目的地へ高速かつ安全に到達する。
- データセンタ網の効率運用：分散型のデータセンタに散在する計算資源やデータを効率的に利用し、AIモデル（例：大規模言語モデルや画像認識モデル）の学習を行う。
- エネルギー網の効率運用：広域にわたる多種多様な電力消費を予測しながら、発電系や送電系を効率的に分散制御し、CO2排出量を抑えつつ安定的に電力を供給する。
これらのアプリケーション例では、AIによって制御可能なシステム（例：車、サーバー、発電所）が通信を介して相互に作用することで、システム全体の効率を高めるために協調制御を行うという共通点があります。交通網やデータセンタ網のような大規模システムを扱う場合、中央集権型の制御よりも分散型の制御が自然であり、この分野における広義の分散学習の基礎研究や応用研究に取り組んでいます。
技術の概要・特徴・内容
この記事は、最近の2つの研究成果を概説いたします。
プロジェクト1：シグナルフリーモビリティ（交通網の効率制御）
IOWNが提唱する高速通信社会におけるモビリティのコンセプト動画が公開されています*1。この動画では、信号機を必要としない都市環境で、数多くの自動運転車が交差点で混雑や衝突をすることなくスムーズに走行する様子が描かれています。このコンセプト動画は分散学習によるAIの相互運用の研究題材として興味深く、シグナルフリーモビリティ（信号機を使わない交通制御）のプロジェクトを推進しています。
プロジェクト２：AIモデルの分散学習（データセンタ網の効率運用）
多数のGPUサーバを用いてAIモデル（例：大規模言語モデルや画像認識モデル）を学習することは一般的になりつつあり、データセンタ（DC）の需要が高まっています。しかし、広大な土地や大容量の電力供給を確保することは難しく、一極集中型でDCを大規模化することには限界があります。その代わりに、地方に分散してDCを建設し、高速大容量の伝送技術で接続する「分散型DC」が現実的な解決策となります。
技術目標・成果・効果
プロジェクト1：シグナルフリーモビリティ（交通網の効率制御）
基礎的な研究成果として、車間距離の保持などの物理的な制約を遵守しながら、速度や位置といった状態を時系列的に遷移させるための制約付き分散ダイナミクス学習技術[1]を開発しました。この研究では、制約付き最適化問題に対する古典的な分散学習のアルゴリズムからヒントを得て、線形制約を満たす条件下で状態変数の遷移を可能にするニューラルネットワーク（CoordiNet）の構成法を提案しました。また、理論解析により提案法の効果を明らかにしました。シグナルフリーモビリティに提案法を適用する場合は車間距離を維持する線形制約を設定し、この制約を満たしながら各車ができるだけ高速に走行できるようにニューラルネットワークのパラメータを学習させます。この方式は、各車の状態を分散して更新することが可能であり、計算や通信の負荷も分散されるため、多数の車で構成される交通網を効率的に制御するのに適しています。
図２(a)には、交通シミュレーションを用いた客観的な評価結果が示されています。提案方式（CoordiNet）を用いることで、シミュレーションを重ねるごとに安定して平均速度が向上しました。最大値が1.00になるように正規化されている状況で、学習前の状態でn=30～50台の車を使ったシミュレーションにおける平均速度は0.64でしたが、学習を経て0.90まで改善されました。図２(b)ではシミュレーションの様子を可視化していて、近隣にある車間の通信（白線で描画）を介して、衝突を避けながら全体の平均速度が向上する様子を確認できます。また、性能比較のために、従来のグラフニューラルネットワーク技術*2や既存の交通シミュレータ*3を使用したテストも実施しました。提案法と同じ条件で学習を行ったところ、制約が課されていない従来のグラフニューラルネットワーク技術(GAT)では車が頻繁に衝突し、平均速度の安定した向上は見られませんでした。さらに、従来の交通シミュレータ(SUMO)では衝突は発生しませんが、交差点手前での停滞が頻繁に発生し、提案方式に比べて速度の向上は限定的でした。
| [1] | Kenta Niwa, Naonori Ueda, Hiroshi Sawada, Akinori Fujino, Shoichiro Takeda, Guoqiang Zhang, Bastiaan Kleijn, "CoordiNet: Constrained Dynamics Learning for State Coordination Over Graph", IEEE Transactions on Signal and Information Processing over Networks, 2023. |
プロジェクト２：AIモデルの分散学習（データセンタ網の効率運用）
最近の研究成果として、分散NW下で平均合意形成されたAIモデルを全ノードが共有可能なBase-(k+1)グラフ技術[2]があります。まず、n台の計算ノードが、1台あたりの同時接続可能な最大ノード数（次数）がkで制限されるNWで接続されていることを前提とします。また、任意のノードペアで通信可能であると仮定します。この技術を用いると、どんな(n, k)が与えられたとしても、S（≧ logk+1n）回のAIモデルのミキシングによって、平均化されたAIモデルを全ノードが共有することが可能です。図３(a)に、提案グラフ技術のイメージを載せます。円周上にある点群がn台の計算ノードを配置していて、最初の時点（s = 1）では、それぞれ異なるAIモデルを保有しているとします（多様な色で表現）。S回のミキシングを経て、平均化されたAIモデル（緑色で表現）を全ノードが共有している様子がわかります。なお、従来グラフ技術で平均合意形成を達成するためには、nを2べき乗にする等の(n, k)に対する制約が必要でしたが、任意の(n, k)に対して平均合意形成を達成できる点が本技術の特徴です。
図３(b)には、提案するグラフ技術と最も単純な分散学習アルゴリズム技術を組み合わせて実験を行った場合の画像認識モデルの学習曲線を示します。実験では、各計算ノードが統計的に偏ったデータセットを保有する実シーンを想定し、50,000枚の画像データを分類ラベルが偏るようにn = 25台の計算ノードに分配しました。グラフ技術の違いによる学習曲線の変化を実験的に調査するため、従来グラフ技術としてExponentialグラフや円周上で隣接ノードを接続するRingグラフを含む6種類を用意し、提案グラフ技術（次数kを4パターン用意、Base-(2, 3, 4, 5)グラフ)と比較しました。横軸は学習回数に対応し、縦軸は画像認識モデルの精度を表しています。短い学習回数で高い精度のモデルを得られるほど性能が良いと言えます。各計算ノードが統計的に偏ったデータセットを持つため、データセット全体を認識できるように全体最適な学習をすることは難しいですが、提案グラフ技術を用いることで、各ノードが共通のAIモデルを共有できるようになるため、短い学習回数で高い精度の画像認識モデルを得るような安定的な学習を実現することができました。特に次数kが大きくなるほど、効果的でした。一方、従来のグラフ技術を用いた場合には、精度が十分に上がりませんでした。これは、従来グラフ技術では、各ノードが保有するAIモデルを共有できず、異なってしまうため、学習が不安定化するためです。本実験では、グラフ技術と最も単純な分散学習アルゴリズム技術を組み合わせて提案グラフ技術の評価を行いましたが、後者の分散学習アルゴリズムの高度化についても研究を進めております[3]-[6]。これらの成果を組み合わせることにより、より高速かつ偏ったデータセットに対する耐性を高める効果が期待されます。
| [2] | Yuki Takezawa, Ryoma Sato, Han Bao, Kenta Niwa, Makoto Yamada, "Beyond Exponential Graph: Communication-Efficient Topologies for Decentralized Learning via Finite-time Convergence", Advances in Neural Information Processing Systems (NeurIPS 2023), 2023. |
| [3] | Kenta Niwa, Noboru Harada, Guoqiang Zhang, Bastiaan Kleijn, "Edge-consensus Learning: Deep Learning on P2P Networks with Nonhomogeneous Data", ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD 2020), 2020. |
| [4] | Kenta Niwa, Guoqiang Zhang, Bastiaan Kleijn, Noboru Harada, Hiroshi Sawada, Akinori Fujino, "Asynchronous Decentralized Optimization with Implicit Stochastic Variance Reduction", International Conference on Machine Learning (ICML 2021), 2021. |
| [5] | Iifan Tyou, Tomoya Murata, Takumi Fukami, Yuki Takezawa, Kenta Niwa, "A Local Primal-Dual Method for Centralized and Decentralized Learning: Robustness to Data Heterogeneity and Its Connection to SCAFFOLD", IEEE Transaction on Signals and Information Processing over Networks, 2023. |
| [6] | Kenta Niwa, Hiro Ishii, Hiroshi Sawada, Akinori Fujino, Noboru Harada, Rio Yokota, "Natural Gradient Primal-Dual Method for Decentralized Learning" がIEEE Transactions on Signal and Information Processing over Networks, 2024. |
想定される適用分野・PoC
プロジェクト1：シグナルフリーモビリティ（交通網の効率制御）
自動運転車などAIが搭載された移動体が通信を介して相互に作用させることで安全かつ円滑な交通の実現が期待できます。特に現実の交通網では信号機による交差点での交通制御を行いますが、それを取り除くことでより滞りのない移動を実現することにつながるでしょう。
プロジェクト２：AIモデルの分散学習
AIモデルを提供するクラウドサービスなどの事業で、広大な土地や電力供給を用意する必要のある一極集中型DCに代わって、分散型のDCを構築しても集中型と同等以上の質を保った計算環境を構築することに貢献します。
今後の展望
AIの相互作用を通じて巨大で複雑なシステム全体の効率を高めるために、分散学習の研究を今後も引き続き実施していきます。システム分散化によるストレス（通信の非同期性、データの統計的な偏り、制御対象が異なるノード等）の緩和について、理論や実験を通じて検証していくことを研究の中心にしつつ、実社会応用の可能性を模索していきます。