世界最大の AI チップが、単一デバイスでの大規模モデルのトレーニング記録を更新。Cerebras は GPU を「殺す」ことを目指している

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

世界最大のアクセラレータチップ「CS-2 Wafer Scale Engine」の製造で知られるCerebras社は昨日、人工知能のトレーニングに「巨大コア」を使用するという重要な一歩を踏み出したと発表した。同社は、世界最大のNLP（自然言語処理）AIモデルを単一チップ上でトレーニングした。

このモデルには 20 億のパラメータがあり、CS-2 チップでトレーニングされました。世界最大のアクセラレータ チップは 7nm プロセスを使用し、単一の正方形のウェーハからエッチングされます。主流のチップより数百倍大きく、15KWの電力を誇ります。 2.6兆個の7nmトランジスタを統合し、85万個のコアと40GBのメモリを搭載しています。

図1 CS-2 ウェーハスケールエンジンチップ

単一チップ上での大規模 AI モデルのトレーニングの新記録

NLP モデルの開発は人工知能の重要な分野です。 NLP モデルを使用すると、人工知能はテキストの意味を「理解」し、対応するアクションを実行できます。 OpenAI の DALL.E モデルは典型的な NLP モデルです。このモデルは、ユーザーが入力したテキスト情報を画像出力に変換できます。

例えば、ユーザーが「アボカド型のアームチェア」と入力すると、AI はこの文章に対応する複数の画像を自動的に生成します。

図：情報を受けてAIが生成した「アボカド型アームチェア」の画像

それだけでなく、このモデルにより、AI は種、形状、歴史的時代などの複雑な知識を理解することもできます。

しかし、これらすべてを実現するのは簡単ではありません。従来の NLP モデルの開発には、非常に高い計算コストと技術的な障壁があります。

実際、数字だけを言えば、Cerebras が開発したこのモデルの 20 億のパラメータは、同業他社と比べるとやや平凡に思えます。

前述のDALL.Eモデルには120億のパラメータがあるが、現在利用可能な最大のモデルは、昨年末にDeepMindがリリースしたGopherで、2800億のパラメータがある。

しかし、驚くべき数字とは別に、Cerebras の NLP 開発にはもう 1 つの大きな進歩があります。それは、NLP モデルの開発の難しさが軽減されることです。

「巨大コア」はどのようにして GPU に勝つのでしょうか?

従来、NLP モデルを開発するには、開発者が巨大な NLP モデルを複数の機能部分に分割し、そのワークロードを数百または数千のグラフィックス処理ユニットに分散する必要がありました。

数千のグラフィック処理ユニットは、メーカーにとって莫大なコストとなります。

技術的な問題もメーカーに大きな苦痛をもたらします。

モデルのスライスはカスタムの問題です。各ニューラル ネットワーク、各 GPU の仕様、およびそれらを接続 (または相互接続) するネットワークはそれぞれ固有であり、システム間で移植できません。

メーカーは、最初のトレーニング セッションの前に、これらすべての要素を考慮する必要があります。

この作業は非常に複雑で、完了するまでに数か月かかることもあります。

Cerebras は、これが NLP モデルのトレーニングにおける「最も苦痛な側面の 1 つ」であると述べています。 NLP の開発に必要なリソースと専門知識を持つ企業はほんの一握りです。 AI 業界の他の企業にとって、NLP トレーニングは費用がかかり、時間がかかり、利用しにくいものとなっています。

しかし、1 つのチップで 20 億のパラメータを持つモデルをサポートできる場合、モデルのトレーニングのワークロードを分散するために多数の GPU を使用する必要はありません。これにより、メーカーは数千の GPU のトレーニング コストと関連するハードウェアおよびスケーリング要件を節約できます。これにより、ベンダーはモデルをスライスしてそのワークロードを数千の GPU に分散するという面倒な作業から解放されます。

Cerebras は数字だけにこだわっていません。パラメータの数は、モデルの品質を評価する唯一の基準ではありません。

セレブラスは、「巨大チップ」上に生まれたモデルが「勤勉」であることを望むのではなく、そのモデルが「賢い」ことを望んでいる。

Cerebras がパラメータ数の爆発的な増加を達成できた理由は、ウェイトフロー技術を使用しているためです。このテクノロジーは、コンピューティングとメモリのフットプリントを分離し、AI ワークロードで増加する任意の数のパラメータを保存できるようにメモリを拡張できるようにします。

この画期的な進歩により、モデルのセットアップにかかる時間が数か月から数分に短縮されました。また、開発者は「数回のキー操作で」GPT-J や GPT-Neo などのモデルを切り替えることができます。これにより、NLP 開発がはるかに簡単になります。

これにより、NLP 分野に新たな変化がもたらされました。

Intersect360 Researchの最高研究責任者であるダン・オールズ氏は、Cerebrasの成果について次のようにコメントしています。「大規模な言語モデルをコスト効率よくアクセスしやすい方法で大衆に提供できるCerebrasの能力は、人工知能の刺激的な新時代を切り開きます。」