マイクロソフト、Nvidia が 5300 億の NLP モデル「Megatron-Turing」をリリース、価格は A100 で 4480 台

[[428336]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

5300億のパラメータ！世界最大のNLPモデルが誕生しました。

これはMicrosoft と NVIDIAによって立ち上げられ、 Megatron Turing-NLG と呼ばれています。

彼らによれば、この規模は世界最大であるだけでなく、最も強力な NLP モデルにもなります。

トレーニングプロセスでは合計4,480 個の NVIDIA A100 GPU が使用され、最終的に、テキスト予測、読解、常識的推論、自然言語推論、語義の曖昧さ解消など、さまざまな自然言語タスクでモデルが前例のない精度を達成できるようになりました。

GPT-3の3倍の大きさ

このモデルは MT-NLG と呼ばれ、Microsoft Turing NLGと Nvidia Megatron-LMの「後継」となります。

Turing NLG は、2020 年 2 月に 170 億のパラメータで Microsoft によってリリースされました。Megatron-LM は NVIDIA によって提供され、2019 年 8 月に 83 億のパラメータでリリースされました。

これらは、当時、最初と 2 番目に大きい Transformer アーキテクチャモデルでした。

パラメータサイズが大きい言語モデルの方が効果的であることは誰もが知っていますが、次のような言語モデルのトレーニングも困難です。

最大の GPU でもこのサイズのパラメータを保存することはできません。
アルゴリズム、ソフトウェア、ハードウェアスタックの最適化に細心の注意を払わないと、必要な計算操作の数が多くなり、トレーニング時間が非常に長くなる可能性があります。

では、MT-NLG のパラメータが GPT-3 の 3 倍である場合、MT-NLG はこの問題をどのように解決するのでしょうか?

その答えは、両社の強みを生かし、NVIDIA の最先端の GPU アクセラレーショントレーニング機器と Microsoft の最先端の分散学習システムを統合して、トレーニング速度を向上させることです。

また、数千億のトークンを含むコーパスを構築し、効率性と安定性を最適化するためのトレーニング方法を共同で開発しました。

具体的には、NVIDIA の Megatron-LM モデルの GPU 並列処理と Microsoft のオープンソース分散トレーニングフレームワーク DeepSpeed を活用して、3D 並列システムが作成されました。

この記事の 5,300 億パラメータモデルの場合、各モデルレプリカは 280 個の NVIDIA A100 GPU にまたがり、ノード内では Megatron-LM の 8 方向テンソルスライスを使用し、ノード間では 35 方向パイプライン並列処理を使用します。

次に、DeepSpeed のデータ並列処理を使用して、さらに数千の GPU に拡張します。

最後に、NVIDIA DGX SuperPOD をベースにした Selene スーパーコンピューターで混合精度トレーニングが完了しました。

(このスーパーコンピューターは560 台の DGX A100サーバーで稼働しており、各サーバーには8 基のNVIDIA A100 80GB Tensor Core GPU が搭載され、NVLink と NVSwitch を介して完全に相互接続されています。)

このモデルは、105 層、20480 個の隠し次元、128 個のアテンションヘッドを備えた Transformer デコーダーアーキテクチャを使用します。

トレーニングに使用されたデータセットには、約 20 万冊の書籍のプレーンテキストデータセット Books3、質疑応答 Web サイトの Stack Exchange、Wikipedia、学術リソース Web サイトの PubMed Abstracts、ArXiv、Wikipedia、GitHub などが含まれます。これらはすべて、以前に構築された Pile データセットから選択された高品質のサブセットです。

最終的に合計2,700億トークンが引き出されました。