Microsoft が 8 つの Nvidia H100 GPU を搭載した Azure ND H100 v5 仮想マシンをリリース

Microsoft が 8 つの Nvidia H100 GPU を搭載した Azure ND H100 v5 仮想マシンをリリース

IT Homeは11月21日、Microsoft Azure AIインフラストラクチャがアップグレードされ、ND H100 v5仮想マシンシリーズがリリースされたと報じた。この仮想マシンは、NVIDIA H100 Tensor Coreグラフィックスプロセッシングユニット(GPU)と低遅延ネットワークを搭載している。

報道によると、Microsoft は新しい Azure ND H100 v5 仮想マシン (VM) シリーズをリリースし、現在、米国東部および米国中南部の Azure リージョンで利用可能となっている。

このシリーズには、AI ワークロードの複雑化に対応するために、最新の NVIDIA H100 Tensor Core GPU と NVIDIA Quantum-2 InfiniBand ネットワーキングが搭載されています。 Microsoft は AI への継続的な投資の一環として、AI に最適化された 4K GPU のクラスターを活用しており、今後 1 年間でこれを数十万の新しい GPU に拡張する予定です。

IT Home は、ND H100 v5 VM 仮想マシン シリーズの機能を次のようにまとめています。

  • AI スーパーコンピューティング GPU: 8 つの NVIDIA H100 Tensor Core GPU を搭載。このシリーズは、前世代の仮想マシンと比較して AI モデルを大幅に高速化できます。
  • 次世代のコンピューター処理装置 (CPU): CPU のパフォーマンスは AI のトレーニングと推論にとって非常に重要であり、Microsoft は第 4 世代の Intel Xeon スケーラブル プロセッサーを選択しました。
  • 低遅延ネットワーク: NVIDIA Quantum-2 ConnectX-7 InfiniBand を使用すると、各 GPU は 400Gb/s、各 VM は 3.2Tb/s のクロスノード帯域幅を実現します。
  • ホストから GPU へのパフォーマンスを最適化: PCIe Gen5 経由で GPU あたり 64GB/秒の帯域幅を提供します。
  • 大容量メモリとメモリ帯域幅: DDR5 メモリはこの仮想マシン シリーズの中心であり、より高いデータ転送速度と効率を実現します。

マイクロソフトによれば、この一連の仮想マシンは新しい8ビットのFP8浮動小数点データ型を使用して、前世代のFP16よりも6倍高速に行列乗算演算を実行するという。 ND H100 v5 VM は、BLOOM 175B エンドツーエンド モデルなどの大規模言語モデルの推論速度を最大 2 倍高速化するのに役立ちます。

<<:  データから診断へ: 緑内障検出のためのディープラーニング手法

>>:  ビッグモデルが明らかに:ユーザーレビューから金脈を抽出する方法

ブログ    
ブログ    
ブログ    

推薦する

...

...

サイバーセキュリティの専門家が知っておくべきAIフレームワーク

1. AIフレームワークの重要性AIフレームワークは、人工知能のオペレーティングシステムであり、基本...

ChatGPT と ReactJS を統合してよりスマートな会話型インターフェースを実現

翻訳者 |李睿レビュー | Chonglouテクノロジーの世界が進化し続けるにつれて、チャットボット...

...

北京ユニサウンドオープンデー:フルスタックAIハードコアテクノロジーを公開

3月27日、2019 Unisound AIテクノロジーオープンデーの第一弾が北京で成功裏に開催され...

マイルストーンではありません! Facebookの100言語翻訳モデルは過大評価され、疑問視されている

[[347640]] Facebookはまた失敗したのか?フェイスブックは昨日、自社の機械翻訳が画期...

Alibaba Damo AcademyのJin Rong氏:テクノロジーから科学へ、中国のAIはどこへ向かうのか?

ダートマス会議から数えると、AIは65年の歴史を歩んできました。特に近年のディープラーニングの台頭に...

科学者は、掴んだまま物体を回転させることができるユニークなロボットハンドを開発

今日の多くのロボットハンドは物体をつかむことができるが、つかんだ物体を放さずにその向きを変えることは...

...

自動運転の世界情勢を理解するための記事

自動運転前夜2021年、ビル・ゲイツは「すべての家庭にロボットを」と題する記事を発表し、爆弾処理ロボ...

...

...

GPT-4 モデル アーキテクチャが漏洩: 1.8 兆個のパラメータを含み、混合エキスパート モデルを使用

7月13日、海外メディアSemianalysisは最近、今年3月にOpenAIが発表したGPT-4モ...

自然言語処理の商業的価値を示す5つの成功事例

これら 5 つの組織は、自然言語処理 (NLP) を使用して、顧客へのサービスの向上、反復的なタスク...