マイクロソフト、大規模 AI モデルのトレーニングにかかる​​時間とコストを大幅に削減する ZeRO++ テクノロジーを発表

マイクロソフト、大規模 AI モデルのトレーニングにかかる​​時間とコストを大幅に削減する ZeRO++ テクノロジーを発表

6月27日、マイクロソフトの研究者らは、大規模なAIモデルのトレーニング時に遭遇しやすいデータ転送コストと帯域幅制限を最適化し、大規模モデルのトレーニングにかかる​​時間とコストを大幅に削減できる「ZeRO++」という新技術を新たに発表した

ZeRO++ は既存の ZeRO 伝送技術に基づいて構築されており、トレーニングの時間とコストを削減しながらトレーニングの効率を向上させる強化された通信戦略を提供すると報告されています。

▲ 画像出典:Microsoft

パラメータ通信の量を減らすために、ZeRO++ は重みを量子化できます。ブロックベースの量子化方法を使用して、トレーニングの精度を維持します。この最適化された量子化プロセスは、元の Zero 伝送テクノロジよりも高速で正確です。通信オーバーヘッドを最小限に抑えるために、ZeRO++ は各マシンにモデルの完全なコピーを維持し、GPU メモリを通信帯域幅と交換します。勾配通信に関しては、ZeRO++ は qgZ と呼ばれる新しい量子化勾配通信方式を導入し、ノード間のトラフィックとレイテンシを削減できます。

▲ 画像出典:Microsoft

これらの改善された通信技術により通信量が大幅に削減され、Microsoft の研究者は、ZeRO++ は ZeRO と比較して通信量を最大 4 倍削減し、トレーニングのスループットと効率を向上させると述べています。各 GPU で小さなバッチ サイズを使用すると、ZeRO++ は高帯域幅クラスターで ZeRO-3 よりも 28% ~ 36% 高いスループットを実現します。低帯域幅のクラスターでは、ZeRO++ は ZeRO-3 と比較して平均 2 倍の高速化を実現し、より多様なクラスターで大規模なモデルのトレーニングをより実現可能にします。

IT Home 注: IT Home は、Turing-NLG、ChatGPT、GPT-4 などの大規模モデルのトレーニングには、複数の GPU デバイスにわたる大量のビデオ メモリとコンピューティング リソースが必要であることに気付きました。ZeRO++ では、低帯域幅のクラスターでトレーニングする場合に、元の ZeRO 伝送テクノロジの帯域幅制限を克服するための通信最適化戦略を導入しています。 Microsoft は現在、関連する技術ドキュメントを公開しており、研究者は ZeRO++ を使用してモデルをより効率的にトレーニングし、AI 分野における新たな可能性を探求することができます。

<<:  人工知能に関する詳細な調査:AIツールを使ったことがある人は思っているほど考えていない

>>:  自律走行車の障害物回避、経路計画、制御技術の詳細な説明

ブログ    

推薦する

ヤン・ルカン氏ら専門家が2019年のAIの発展動向を予測

[[256869]]左から右へ: Cloudera ML ゼネラルマネージャーの Hilary Ma...

...

裕福なアメリカ人の 41% は、意識をアップロードすることで不老不死を実現したいと考えています。劉慈欣の「人類の存続」は私たちの未来となるのでしょうか?

意識のアップロードは、人間が将来の自分たちの存在を想像する方法として常に存在してきました。このアイデ...

Fudan DISC、クロスビジュアル言語モダリティ事前トレーニングモデルMVPTRを発表

復旦大学データインテリジェンスおよびソーシャルコンピューティング研究所復旦大学のデータインテリジェン...

...

次世代ロボットは「人間と共存」するかもしれない。中国はこのチャンスをどうつかむのか?

「次世代のロボットは『人間と共存する』ものになるだろう。中国がこのチャンスをつかめば、ロボットイノ...

「Singularity」AIコンピューティングプラットフォームの詳細を公開!それは4年前のマイクロソフトの古いプロジェクトの復活であることが判明した

AI サービス プラットフォームのコストと効率の問題は、大手サービス プロバイダーが解決と改善に懸命...

...

経済学における機械学習:この2つの組み合わせは明るい未来をもたらすだろう

この記事は、公開アカウント「Reading the Core」(ID: AI_Discovery)か...

...

GPTモデルが人間のように聞こえるのはそのためです

翻訳者 | 劉涛レビュー | Chonglou AIがなぜ機能するのか誰も知らないですよね?はい、そ...

AI による執筆の歴史を振り返ると、AI が人間の執筆作業に取って代わるまでにはどのくらい時間がかかるのでしょうか?

AI がまた本を出版しました。今回は専門家向けの教科書です。科学技術系出版社のひとつ、ドイツのシュ...

CNNが画像の特徴を自動的に抽出できる理由

1. はじめに従来の機械学習のシナリオのほとんどでは、まず特徴エンジニアリングなどの方法を通じて特徴...

ネイチャー誌に「LK-99は超伝導体ではない」という記事が掲載された。

長年続いていた室温超伝導の謎が解明されたようだ。昨日、ネイチャー誌は「LK-99は室温超伝導体ではな...

...