AIビッグモデルは今後も拡大し続けるのか？

人工知能は現在、ビジネスと金融のあらゆる側面に急速に導入されています。いくつかの刺激的な成功により、業界は競合他社に大きく遅れをとりたくないため、この新しいテクノロジーを採用するようプレッシャーをかけられています。

人工知能の背後にある中核技術は、ニューラル ネットワーク モデル、ディープラーニング アルゴリズム、トレーニング用の膨大なデータ セットです。このモデルは、オブジェクト認識、音声認識、オブジェクト追跡などの特定の目的のために構築されています。 「モデル」は、ニューラル ネットワークがどのように構築されるか、ネットワークのパラメーターがいくつあるか、およびネットワークのレイヤーがいくつあるかを説明します。

ニューラル ネットワークの全体的な精度は、トレーニング データセットの品質とサイズ、パラメーターの数、およびトレーニング プロセスの関数です。それは正確な科学ではありません。過剰トレーニング。モデルはトレーニング セットには適切に応答しますが、実際の状況には適切に応答しません。これはモデルの「過剰適合」です。トレーニングが少なすぎると、モデルは既知のすべての状況に対応できなくなります。

完璧なモデルは存在しません。誤差の範囲は常に存在し、モデルにパラメータがない場合には異常が発生します。過去 10 年間で、モデルは機能性と精度が向上し、より複雑になってきました。

BARD や GPT-4 などの大規模言語モデルでは、数千億のパラメータを使用するモデルが使用され、トレーニングには膨大なデータセットが必要になります。最も強力なパーソナル コンピュータであっても、膨大な計算能力とメモリ リソースを必要とする大規模なモデルを処理することはできません。コンピューティングは、インターネット (クラウド) 上の大規模なデータ センター コンピューター (サーバー ファーム) で実行されます。

サーバー ファームは、自然言語処理、テキストと画像の生成、ビデオ ストリームの分類、IoT プロセスの制御と監視などのアプリケーションに使用されます。 Wired 誌は、GPT-4 のような大規模なモデルをトレーニングするには 1 億ドルの費用がかかり、強力な A100 GPU プロセッサのアレイを搭載した最大 10,000 台のシステムが 11 か月以上使用されると見積もっています。最大の既知のモデルは、1兆を超えるパラメータを持つ Google GLaM です。

現在、モデルはますます大規模になっていますが、これらのシステムは今後も拡張し続けることができるのでしょうか?

SemiAnalysisの主席アナリスト、ディラン・パテル氏は、ChatGPTの運営コストは1日あたり70万ドルにも上ると推定されると述べた。 このコストは、メンテナンス、コンピュータ リソースの減価償却、サーバーおよび冷却システムの電力消費に分類されます。 Google とカリフォルニア大学バークレー校が共同で発表した研究 (Scientific American) によると、GPT-3 の電力消費量は 1,287 メガワット時でした。

世界中で増加しているサーバーファームと AI 処理の数を考えると、これは大きな懸念事項です。オンライン AI にアクセスする人が増えるにつれて、サーバー ファームの電力消費も増加する可能性があります。 2025 年までに、サーバー ファームは世界の電力の 20% 以上を消費する可能性があります。

サーバー ファームでは、強力なコンピューターと GPU を搭載した大型ラックを使用します。これらには、ニューラル ネットワークの機能を計算する並列処理ユニットとして機能する数千の処理コアが含まれています。 1 つの GPU は最大 400 ワットの電力を消費し、サーバーは最大 32 個の GPU を使用できます。企業の大規模なデータ センター クラスターでは、最大 250 万台のサーバーを導入する場合があります。サーバーの半分だけに GPU が搭載されている場合でも、最悪の場合のコンピューティング要件は 16,000 MWh になります。つまり、大量の温室効果ガス排出源となっているのです。

サーバー ファームの環境への影響を軽減する方法はいくつかあります。解決策の一部は、より効率的なハードウェアと再生可能エネルギーの使用です。もう 1 つのアプローチは、ほとんどの処理が専用の低電力で高性能なニューロモルフィック ハードウェアのエッジで分散実行されるハイブリッド ソリューションを使用することです。ニューロモルフィック処理は、脳のエネルギー効率の高い方法にヒントを得ています。

人間の脳には約 860 億個のニューロン (最大の大規模言語モデル GLaM の約 80 倍) が含まれており、推定 100 兆個の接続 (GLaM の約 100 倍) があります。各細胞には異なる量の電気化学的記憶があります。この生物学的記憶に保存される情報は、ニューラル ネットワーク モデルのパラメータと同等であると考えることができます。

人工ニューラルネットワークと比較すると、脳モデルは動的です。学習すると、新しいつながりとより多くの記憶が作られ、睡眠すると余分なつながりが削除されます。人間の脳のニューラルネットワークは最大の人工知能モデルよりも大きいにもかかわらず、消費するエネルギーは電球よりも少ない 20 ワットだけです。過去数年間の成功にもかかわらず、脳の構造は今日の AI システムで使用されているニューラル ネットワーク モデルとは大きく異なります。

ニューロモルフィック処理は、脳の効率的な処理技術を借用し、その動作をデジタル回路で再現します。デジタル回路はアナログ回路ほどエネルギー効率が良くないかもしれませんが、安定性、互換性、速度は、わずかな電力消費の利点を上回ります。イベント駆動型の畳み込みシェルのおかげで、ニューロモルフィック コンピューティング エンジンの使用は開発者とユーザーにとって透過的になります。

ニューロモルフィック処理では、畳み込みニューラル ネットワーク (CNN) を実行し、ImageNet1000 での画像分類、リアルタイムのビデオ分類、匂いや味の認識、振動分析、音声やスピーチの認識、病気や異常の検出を実行できます。消費電力が低いため、これらの機能はポータブル ツールやバッテリー駆動のツールで使用できます。

高速ニューロモルフィック コンピューティング デバイスで分散 AI 処理を使用することで、データ センターの過剰な電力消費を削減し、運用コストを削減し、エッジ製品の機能性と応答性を向上させることができます。ニューロモルフィック処理は、AI から予想される環境への悪影響を補うのに役立ちます。