この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

ニューラル ネットワークをトレーニングするには、ハードウェアが強力である必要がありますか?現在、Google は強力な反論を発表しました。

GPU と Google TPU などのハードウェア アクセラレータは、ニューラル ネットワークのトレーニングを大幅に加速し、AI の急速な成長を促進し、さまざまな分野で超能力を発揮しています。

しかし、ハードウェアがどれだけ速く進化しても、追いつけない時が必ずあります。

たとえば、チップの設計方法により、データの前処理などのトレーニング パイプラインの初期段階では、ハードウェア アクセラレータのメリットを享受できません。

Google Brain の科学者たちは、アルゴリズムがハードウェアを制限するのを望まなかったため、 「データエコー」と呼ばれる新しい技術を開発しました。

ニューラル ネットワークのトレーニングを高速化するために半導体をいじる必要はありません。

データエコーのブラックテクノロジー

新しい加速方法の中核は、トレーニング パイプラインの初期段階で消費される時間を短縮することです。

従来のトレーニング パイプラインによれば、AI システムはまず入力データを読み取ってデコードし、次にデータをシャッフルし、変換を適用してデータを拡張し、サンプルをバッチに収集してパラメータを繰り返し更新し、エラーを減らします。

データ エコーは、パラメータが更新される前に前のステージの出力データを繰り返してパイプラインにステージを挿入し、理論的にはアイドル状態の計算能力を回復します。

データの複製によるオーバーヘッドが無視でき、エコーの両側のステージが並列に実行される場合、1 つの上流ステップと e つの下流ステップを再生するのにかかる平均時間は次のようになります。

アップストリーム ステップにかかる時間がダウンストリーム ステップにかかる時間以上であると仮定すると、追加のダウンストリーム ステップはアイドル状態のダウンストリーム容量を利用するため「無料」であることがわかります。

データエコーによるトレーニング時間を短縮するための鍵は、上流ステップと下流ステップ間のトレードオフにあります。

一方、繰り返しデータの価値は新しいデータの価値よりも低い可能性があるため、データエコーでは、期待されるパフォーマンスを実現するために、より多くの下流の SGD (確率的勾配降下法) 更新が必要になります。

一方、データエコーの各下流ステップでは、上流ステップの1/eのみが必要です。

再生係数によって増加した下流ステップの数が e より小さい場合、上流ステップの合計数が削減され、全体的なトレーニング時間が短縮されます。

異なる挿入ポイントでのデータ エコーのパフォーマンスに影響を与える要因が 2 つあることに注意することが重要です。

バッチ処理前のエコー

バッチ処理の前に再生するということは、データがバッチ レベルではなくサンプル レベルで繰り返され、シャッフルされることを意味します。これにより、バッチ内に重複したサンプルが存在するという犠牲を払って、隣接するバッチが異なる可能性が高くなります。

データ拡張前のリプレイ

拡張前にデータを再生すると、重複データが別の方法で変換され、より新しいデータのようなデータになることがあります。

仕組み

研究チームはこの手法を実験し、2つの言語モデルタスク、2つの画像認識タスク、1つの物体検出タスクを選択しました。AIモデルはすべてオープンソースのデータセットを使用してトレーニングされました。

実験では、「新しい」トレーニング サンプルの数 (トレーニング サンプルはディスクから読み取られ、新しいサンプルとしてカウントされます) が指定されたターゲットに到達するのにかかる時間が、トレーニング期間としてカウントされます。研究者らは、データエコーによって必要なサンプル数が減るかどうかも調査する予定だ。

ImageNet でトレーニングされた ResNet-50 を除き、データエコーはベースライン方式よりも効率的です。また、パイプラインの早い段階でエコーを挿入することで、トレーニングに必要な新しいサンプルが少なくなります。

バッチ サイズが大きくなるにつれて、ベースライン メソッドに対するデータ エコーの改善がより顕著になります。

ムーアの法則の黄昏

ムーアの法則が終焉に近づくにつれ、チップ製造技術のブレークスルーに頼って人工知能の計算能力を向上させることはますます困難になってきています。ハードウェア アクセラレータはあるものの、CPU などの汎用プロセッサは、ニューラル ネットワークのトレーニング速度をさらに向上させる上で依然として障害となっています。

異なるアプローチを採用し、アルゴリズムのパフォーマンスを突破することが、新たな魅力になりつつあります。

論文アドレス: https://arxiv.org/abs/1907.05550