スケーリングトランスフォーマーでスパース性を使用するだけで十分です。将来的にはGPT-3をラップトップでホストできるようになるかもしれない

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

1. Transformersのスケーリング: 大規模言語モデルの管理性の向上

近年、自然言語処理の分野は、Transformer アーキテクチャに基づく大規模なニューラル ネットワークに基づいて大きな進歩を遂げています。数年前に Reddit に大量のスパム投稿を行った Thegentlemetre アカウントは、1 週間後まで人間に発見されませんでした。実際に問題を引き起こしていたのはアプリケーションだったのです。これは、地球上で最も強力な言語モデルとして知られている GPT-3 に基づいて開発されたプログラムです。

大規模な言語モデルである GPT-3 は、人間が書いた記事と比較しても区別が難しい記事全体を作成できます。

しかし、この「スマート」モデルには欠点があります。

トレーニングには非常に費用がかかるため、誰もがこのような大規模なモデルをトレーニングするためのリソースを持っているわけではありません。

では、大規模な言語モデルを日常のニーズに合わせて管理しやすくするにはどうすればよいでしょうか?

ワルシャワ大学、Google Research、OpenAI の学者たちは、新しいモデル ファミリ「Scaling Transformers」を提案しました。

論文アドレス: https://arxiv.org/abs/2111.12763

この記事では、ネットワーク内の線形層の活性化をスパース化 (フィードフォワードと Q、K、V 投影) することにより、大規模なスパース モデルをトレーニングする方法を提案します。このアプローチは、効果を発揮するためにハードウェア固有の最適化や低レベルの最適化を必要としないように見えるため、特に魅力的です。コントローラ ネットワークは、アクティブ化時にブロック単位のワンホット マスクを生成し、このマスクに基づいて後続のレイヤーの重みを動的に選択します。モデルのサイズを大きくする場合、スパース レイヤーを使用して効果的にスケーリングし、標準の Transformer モデルよりもはるかに高速に非バッチ デコードを実行します。同じ数のパラメータを使用すると、スパース レイヤーで標準の Transformer と同じ複雑性を実現できます。

2. 記事の解釈

Fabio Chiusano 氏は、NLP 誌にこの論文の肯定的なレビューを発表しました。 Fabio Chiusano 氏は、Digitiamo のデータサイエンス部門の責任者であり、人工知能分野のトップ メディア ライターです。 AI Technology Reviewは、キウサノ氏のコメントを、本来の意味を変えずに編集した。

スケーリング トランスフォーマーは、モデル サイズを拡大するときに言語モデルを効率的にスケーリングし、標準のトランスフォーマーよりも高速に非バッチ デコードを実行できるため、非常に興味深いものです。厳密に言えば:

• 私たちはそれを​d​と呼びます  Transformer モデルのパラメータの数です。
• 次に、標準的な高密度トランスフォーマーでは、予測を行うために約​d^2​計算が必要になります。
• 対照的に、スパース スケーリング トランスフォーマーでは約​d^1.5​計算が必要になります。

このような改善が重要でないと思われる場合は、 ​d​通常、数十億のオーダーの非常に高い数値であることを考慮してください。実際、実験では、Scaling Transformer により、17B のパラメーターを持つ Dense Transformer と比較して、単一のトークンの予測速度がほぼ 20 倍 (3.690 秒から 0.183 秒) 向上することが示されています。注: これらの高速化はバッチ処理されていない予測に対して行われます。

提案されたスパース性メカニズム (FF、QKV、FF+QKV) を備えた C4 データセットでは、スケーリング トランスフォーマーのログ パープレキシティ (約 800M のパラメーターを持つ T5 のサイズに相当) は、ベースラインの密なモデルのログ パープレキシティと似ています。

170 億のパラメータを持つ Terraformer は、高密度ベースライン モデルよりも 37 倍高速に単一のトークンをデコードし、推論には 1 トークンあたり 100 ミリ秒未満しかかかりません。ここで、注目スパース = 64、ffスパース = 256、損失スパース = 4

間引きのメリットはとても良いです。ただし、長いシーケンスをデコードする場合は、デコード時間がアテンション操作によって支配されるため、状況は悪化します。

幸いなことに、長いシーケンスに注目する LSH (Locality-Sensitive Hashing) やメモリ効率を向上させる可逆レイヤーなど、Transformer のこの問題を解決するために多くの方法が提案されています。これは決して無視できない結果だと言えるでしょう。

この論文では、トランスフォーマーの効率を向上させるために使用される他の技術の興味深い概要も提供しています。ここではその一部を抜粋して報告します。Transformer 技術の効率性に馴染みのない方にとって参考になると思います。

• モデルの圧縮。モデルのプルーニングは、トレーニング後またはトレーニング中に不要な重みを削除することで、行列を小さくします。
• モデル蒸留。モデル蒸留では、以前にトレーニングされた大きなモデル (つまり、教師) の出力に基づいて小さなモデル (つまり、生徒) をトレーニングします。モバイル推論用のいくつかの自然言語モデルは、大規模な事前トレーニング済みモデルからの推論を高速化するために蒸留に依存しています。
• 注目度が低い。スパース アテンション ベースの方法では、追加の組み合わせメカニズムを組み込んだり、レイヤーが焦点を当てるトークンのサブセットを選択したりすることで、特に長いシーケンスの場合にアテンション レイヤーの効率が向上します。
• スパースフィードフォワード。重要なアイデアは、フィードフォワード層を複数の部分 (エキスパートと呼ばれる) に分割し、トークンごとに 1 つの部分のみを取得することで、フィードフォワード ブロックの複雑さを軽減することです。これらの高速化は主にトレーニング速度の観点から測定され、このアプローチはフィードフォワード ブロックに重点を置いています。専門家の混合法は、1兆個のパラメータにスケーリングして、トレーニングにおける計算効率を達成することが示されています。

ただし、現在の結果にはいくつかの制限があります。それでも、この論文は持続可能な大規模モデルに向けた第一歩とみなすことができます。

どう思いますか？