2020 年のディープラーニングに最適な GPU の概要。どれが最適かを確認してください。

ビッグデータダイジェスト制作

出典: lambdalabs

編纂者：張秋月

ディープラーニングモデルが強力になるにつれて、より多くのメモリ領域を占有しますが、多くの GPU にはトレーニングに十分な VRAM がありません。

では、ディープラーニングを始める準備ができたら、どのような GPU が最も適しているのでしょうか? ここでは、ディープラーニングモデルのトレーニングに適した GPU のリストと、それらを横並びで比較します。見てみましょう。

長すぎて読めない

2020 年 2 月現在、以下の GPU で現在のすべての言語モデルと画像モデルをトレーニングできます。

次の GPU は、ほとんどの (ただしすべてではない) モデルをトレーニングできます。

次の GPU は現在のモデルのトレーニングには適していません。

この GPU でのトレーニングには比較的小さなバッチサイズが必要であり、モデルの分布近似が影響を受け、モデルの精度が低下します。

画像モデル

メモリ不足になる前の最大バッチサイズ:

*GPU にモデルを実行するのに十分なメモリがないことを示します。

パフォーマンス（1秒あたりに処理される画像数）:

*GPU にモデルを実行するのに十分なメモリがないことを示します。

言語モデル

メモリ不足になる前の最大バッチサイズ:

*GPU にモデルを実行するのに十分なメモリがないことを示します。

パフォーマンス：

* GPU にはモデルを実行するのに十分なメモリがありません。

Quadro RTX 8000の結果を使用して正規化されたパフォーマンス

画像モデル:

言語モデル

結論は

言語モデルは、画像モデルよりも大きな GPU メモリの恩恵を受けます。右側の曲線が左側の曲線よりも急であることに注意してください。これは、言語モデルはメモリサイズによってより制限され、画像モデルは計算能力によってより制限されることを示しています。
より大きなバッチサイズを使用すると CUDA コアが飽和するため、VRAM が大きい GPU の方がパフォーマンスが向上します。
VRAM が大きい GPU では、比例して大きなバッチサイズを実現できます。小学校レベルの数学しか知らない人なら、これが理にかなっていることがわかるでしょう。24 GB の VRAM を搭載した GPU は、8 GB の VRAM を搭載した GPU の 3 倍のバッチを処理できます。
長いシーケンスの言語モデルは、シーケンスの長さの 2 乗で注意が集中するため、他のモデルと比較して不釣り合いに大量のメモリを消費します。

GPU 購入の推奨事項

RTX 2060 (6 GB): 空き時間にディープラーニングを探求したい。
RTX 2070 または 2080 (8 GB): ディープラーニングに真剣に取り組んでいますが、GPU 予算は 600 ～ 800 ドルです。 8 GB の VRAM はほとんどのモデルに適しています。
RTX 2080 Ti (11 GB): ディープラーニングに真剣に取り組んでおり、GPU 予算は約 1,200 ドルです。 RTX 2080 Ti は RTX 2080 よりも約 40% 高速です。
Titan RTX および Quadro RTX 6000 (24 GB): 最新モデルを頻繁に使用していますが、RTX 8000 を購入する予算がありません。
Quadro RTX 8000 (48 GB): 将来への投資をお考えの場合、または 2020 年の最新かつ最もクールなモデルをお探しの場合。

注記

画像モデル:

言語モデル:

関連レポート: https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/

[この記事は51CTOコラムBig Data Digest、WeChatパブリックアカウント「Big Data Digest（id: BigDataDigest）」のオリジナル翻訳です]

この著者の他の記事を読むにはここをクリックしてください