AIの計算能力は70年間で6億8000万倍に増加し、3つの歴史的段階でAI技術の指数関数的爆発が目撃されました。

電子コンピュータは 1940 年代に発明され、登場から 10 年以内に人類史上初の AI アプリケーションが登場しました。

70年以上が経過し、AIモデルは詩を書くだけでなく、テキストプロンプトに基づいて画像を生成したり、人間が未知のタンパク質構造を発見するのを手助けしたりできるようになりました。

それでは、これほど短期間で AI テクノロジーが急激に成長した理由は何でしょうか?

「Our World in Data」の長いグラフは、AI モデルのトレーニングに使用される計算能力の変化を使用して AI 開発の歴史をたどります。

高解像度画像: https://www.visualcapitalist.com/wp-content/uploads/2023/09/01.-CP_AI-Computation-History_Full-Sized.html

図のデータは、MIT および他の大学の研究者によって発表された論文から得たものです。

論文アドレス: https://arxiv.org/pdf/2202.05924.pdf

論文に加えて、研究チームはこの論文のデータを基に視覚的な表も作成しました。ズームインやズームアウトして詳細なデータを見ることができます。

テーブルアドレス: https://epochai.org/blog/compute-trends#compute-trends-are-slower-than-previously-reported

このグラフの作成者は、主に操作数と GPU 時間を計算することで、各モデルのトレーニングに必要な計算量を推定しています。重要なモデルの代表としてどのモデルを選択するかを決定するために、主に次の 3 つのプロパティを使用しています。

重大な重要性: システムは歴史的に重大な影響を与えたか、SOTA を大幅に改善したか、1,000 回以上引用されています。

関連性: 実験結果と主要な機械学習コンポーネントを含み、既存の SOTA を発展させることを目的とした論文のみを対象としました。

独自性: 同じシステムを説明する別の論文の影響力が大きい場合、その論文は著者のデータセットから除外されました。

AI開発の3つの時代

1950年代、アメリカの数学者クロード・シャノンは、テセウスという名のロボットマウスに迷路を進み、道を記憶するように訓練しました。これは人工学習の最初の例です。

Theseus は 40 の浮動小数点演算 (FLOP) を中心に構築されています。 FLOP は、コンピューター ハードウェアの計算パフォーマンスの尺度としてよく使用されます。 FLOP 数が多くなるほど、計算能力が高まり、システムが強力になります。

計算能力、利用可能なトレーニング データ、アルゴリズムは、AI の進歩のための 3 つの主要な要素です。 AI 開発の最初の数十年間は、必要な計算能力はムーアの法則に従って増加し、計算能力は約 20 か月ごとに 2 倍になりました。

しかし、2012 年に AlexNet (画像認識 AI) によって特徴づけられたディープラーニング時代が始まると、研究者がコンピューティングとプロセッサへの投資を増やしたため、その倍増時間は 6 か月に短縮されました。

2015年にコンピュータープログラムであるAlphaGoがプロの囲碁プレイヤーに勝利したことで、研究者たちは第三の時代、すなわちこれまでのすべてのAIシステムよりも大きな計算能力を必要とする大規模AIモデルの出現を認識しました。

AI技術の今後の進歩

過去 10 年間を振り返ると、コンピューティング能力がいかに急速に成長したかは驚くべきものです。

たとえば、複雑な数学の問題を解くことができる AI である Minerva のトレーニングに使用される計算能力は、10 年前に AlexNet をトレーニングするために使用された量のほぼ 600 万倍です。

このコンピューティングの成長と、膨大なデータセットとより優れたアルゴリズムの利用可能性が相まって、非常に短期間で AI が大きく進歩することができました。今日、AI は人間のパフォーマンスレベルに達するだけでなく、多くの分野で人間を上回ることさえあります。

AIの能力はあらゆる面で人間を上回り続けるだろう

上記の図から、AI がすでに多くの分野で人間のパフォーマンスを上回っており、他の分野でもすぐに人間のパフォーマンスを上回ることが明らかです。

次のグラフは、日常の仕事や生活で使用される一般的な機能において AI が人間のレベルに到達または上回った年を示しています。

AI技術には十分な発展の可能性がある

コンピューティングの成長が同じペースを維持するかどうかは分かりません。大規模モデルのトレーニングには、ますます多くの計算能力が必要になります。計算能力の供給が継続的に増加できない場合、AI 技術の発展が遅れる可能性があります。

同様に、AI モデルのトレーニングに現在利用可能なすべてのデータを使い果たすと、新しいモデルの開発と実装が妨げられる可能性もあります。

しかし、2023年にはAI業界、特に大規模言語モデルに代表される生成AIに多額の資金が投入されました。おそらく、さらなるブレークスルーが現れようとしている。AI技術の発展を促進する上記3つの要素は、今後さらに最適化され、発展していくと思われる。

2023年上半期、AIスタートアップ企業は140億ドルの資金を調達したが、これは過去4年間の調達総額を上回る額だ。

しかし、生成 AI スタートアップの多く (78%) はまだ開発の初期段階にあり、生成 AI スタートアップの 27% はまだ資金を調達していません。

360 社を超える生成 AI 企業のうち、27% はまだ資金調達を行っていません。そのうちの半数以上は第 1 ラウンド以前のプロジェクトであり、生成 AI 業界全体がまだ非常に初期段階にあることを示しています。

大規模な言語モデルの開発は資本集約的であるため、生成 AI インフラストラクチャ カテゴリは 2022 年第 3 四半期以降、資金の 70% 以上を獲得していますが、生成 AI 取引量全体のわずか 10% を占めています。資金の多くは、基礎モデルや API、MLOps (機械学習オペレーション)、ベクトル データベース テクノロジーなどの新興インフラストラクチャに対する投資家の関心から生まれています。