NVIDIA が Tensor RT-LLM を発表、RTX 搭載 PC プラットフォームで大規模言語モデルを 4 倍高速化

10月18日、NVIDIAはハードウェア分野における生成型人工知能の王者となった。同社のGPUは、MicrosoftやOpenAIなどの企業のデータセンターに搭載され、Bing ChatやChatGPTなどの人工知能サービスを実行している。本日、Nvidia は、ローカル Windows PC 上の大規模言語モデル (LLM) のパフォーマンスを向上させるように設計された新しいソフトウェア ツールを発表しました。

Nvidia はブログ投稿で、以前はデータセンター向けにリリースされていた TensorRT-LLM オープンソース ライブラリが、Windows PC でも利用できるようになったことを発表しました。最も優れた機能は、Windows PC に NVIDIA GeForce RTX GPU が搭載されている場合、TensorRT-LLM により LLM を Windows PC 上で 4 倍高速に実行できることです。

NVIDIA は記事の中で、開発者とエンドユーザーにとっての TensorRT-LLM の利点を次のように紹介しています。

バッチ サイズが大きい場合、この高速化により、ライティング アシスタントやコーディング アシスタントなどのより複雑な LLM 使用エクスペリエンスが大幅に改善され、複数の固有のオートコンプリート結果を同時に出力できるため、パフォーマンスが高速化され、品質が向上し、ユーザーが最適なオプションを選択できるようになります。

IT Home は、ブログ投稿に TensorRT-LLM の例が示されていることに気付きました。 LLaMa 2 ベース モデルに「Alan Wake 2 にはどのような NVIDIA テクノロジが統合されていますか?」と質問したところ、「ゲームはまだ発表されていません」という役に立たない回答が返ってきました。代わりに、RAG を使用して GeForce News を Vector Library に追加し、同じ Llama2 モデルに接続すると、正しい答え (NVIDIA DLSS 3.5、NVIDIA Reflex、フルスクリーン レイ トレーシング) が得られるだけでなく、TensorRT-LLM アクセラレーションにより応答性も大幅に向上します。このスピードとパワーの組み合わせにより、ユーザーはよりスマートなソリューションを利用できるようになります。

TensorRT-LLM は、NVIDIA の開発者向け Web サイトでまもなく利用可能になります。

Nvidia は本日、新しい GeForce ドライバー アップデートに AI ベースの機能もいくつか追加しました。これには、オンライン ビデオを視聴するときに解像度のアップスケーリングが向上し、圧縮が少なくなる、RTX ビデオ スーパー解像度機能の新しいバージョン 1.5 が含まれます。 Nvidia は、Stable Diffusion Web UI に TensorRT AI アクセラレーションも追加し、GeForce RTX GPU を使用するユーザーが AI 画像ジェネレーターから通常よりも高速に画像を取得できるようにしました。