6月27日、マイクロソフトの研究者らは、大規模なAIモデルのトレーニング時に遭遇しやすいデータ転送コストと帯域幅制限を最適化し、大規模モデルのトレーニングにかかる時間とコストを大幅に削減できる「ZeRO++」という新技術を新たに発表した。 ZeRO++ は既存の ZeRO 伝送技術に基づいて構築されており、トレーニングの時間とコストを削減しながらトレーニングの効率を向上させる強化された通信戦略を提供すると報告されています。 ▲ 画像出典:Microsoft パラメータ通信の量を減らすために、ZeRO++ は重みを量子化できます。ブロックベースの量子化方法を使用して、トレーニングの精度を維持します。この最適化された量子化プロセスは、元の Zero 伝送テクノロジよりも高速で正確です。通信オーバーヘッドを最小限に抑えるために、ZeRO++ は各マシンにモデルの完全なコピーを維持し、GPU メモリを通信帯域幅と交換します。勾配通信に関しては、ZeRO++ は qgZ と呼ばれる新しい量子化勾配通信方式を導入し、ノード間のトラフィックとレイテンシを削減できます。 ▲ 画像出典:Microsoft これらの改善された通信技術により通信量が大幅に削減され、Microsoft の研究者は、ZeRO++ は ZeRO と比較して通信量を最大 4 倍削減し、トレーニングのスループットと効率を向上させると述べています。各 GPU で小さなバッチ サイズを使用すると、ZeRO++ は高帯域幅クラスターで ZeRO-3 よりも 28% ~ 36% 高いスループットを実現します。低帯域幅のクラスターでは、ZeRO++ は ZeRO-3 と比較して平均 2 倍の高速化を実現し、より多様なクラスターで大規模なモデルのトレーニングをより実現可能にします。 IT Home 注: IT Home は、Turing-NLG、ChatGPT、GPT-4 などの大規模モデルのトレーニングには、複数の GPU デバイスにわたる大量のビデオ メモリとコンピューティング リソースが必要であることに気付きました。ZeRO++ では、低帯域幅のクラスターでトレーニングする場合に、元の ZeRO 伝送テクノロジの帯域幅制限を克服するための通信最適化戦略を導入しています。 Microsoft は現在、関連する技術ドキュメントを公開しており、研究者は ZeRO++ を使用してモデルをより効率的にトレーニングし、AI 分野における新たな可能性を探求することができます。 |
<<: 人工知能に関する詳細な調査:AIツールを使ったことがある人は思っているほど考えていない
>>: 自律走行車の障害物回避、経路計画、制御技術の詳細な説明
[[256869]]左から右へ: Cloudera ML ゼネラルマネージャーの Hilary Ma...
意識のアップロードは、人間が将来の自分たちの存在を想像する方法として常に存在してきました。このアイデ...
復旦大学データインテリジェンスおよびソーシャルコンピューティング研究所復旦大学のデータインテリジェン...
「次世代のロボットは『人間と共存する』ものになるだろう。中国がこのチャンスをつかめば、ロボットイノ...
AI サービス プラットフォームのコストと効率の問題は、大手サービス プロバイダーが解決と改善に懸命...
この記事は、公開アカウント「Reading the Core」(ID: AI_Discovery)か...
翻訳者 | 劉涛レビュー | Chonglou AIがなぜ機能するのか誰も知らないですよね?はい、そ...
AI がまた本を出版しました。今回は専門家向けの教科書です。科学技術系出版社のひとつ、ドイツのシュ...
1. はじめに従来の機械学習のシナリオのほとんどでは、まず特徴エンジニアリングなどの方法を通じて特徴...
長年続いていた室温超伝導の謎が解明されたようだ。昨日、ネイチャー誌は「LK-99は室温超伝導体ではな...