GPT-5は秘密裏にトレーニング中です！ DeepMindの共同創設者は、このモデルがGPT-4の100倍大きいことを明らかにした

最近、DeepMindの共同創設者で現在はInflection AIのCEOを務めるMustafa Suleyman氏がインタビューで衝撃的な発言をした。

OpenAIは秘密裏にGPT-5をトレーニングしている。

率直に言ったほうがいいと思います。そのため、当社が所有するコンピューティング リソースの量を公開しています。

今後 18 か月間で、Inflection AI は現在の最先端モデルの 100 倍の規模のモデルをトレーニングします。今後 3 年間で、Inflection のモデルは現在の 1,000 倍に拡大されます。

実際、サム・アルトマンは以前、GPT-5 をトレーニングしたという主張を否定していました。

これに対してネットユーザーらは、OpenAIが新しい名前を付けた可能性があるとして、GPT-5をトレーニングしなかったと述べた。

これは、コードインタープリターがリリースされたとき、多くの人がその機能はもはや GPT-4 モデルではなく、GPT-4.5 であるべきだと感じていたのと同じです。

さらに、インタビューの中で、スレイマン氏は、GoogleによるDeepMindの買収とその後のドラマなど、DeepMindとInflection AIでの仕事に関する多くの内部情報も明らかにした。これは、DeepMindがOpenAIと比較して「早く立ち上がったが遅れて到着した」理由をある程度説明している。

彼はまた、オープンソース モデルによって AI が人間にもたらす不安定性と危害が増大する可能性があると考えています。

AI セキュリティに対する最大の脅威は、大規模な言語モデルではなく、将来出現する可能性のある自律的なインテリジェント エンティティです。

インタビュー全文

AIが将来、自律的に進化できる知的存在になる可能性があるかどうか尋ねられたスレイマン氏は次のように答えた。

短期的には、自律的に動作し、独自の目標を設定し、環境内の新しい情報や新しい報酬信号を認識し、それを自己監督として使用して時間の経過とともに独自の重みを更新することを学習できる人工知能エージェントが出現する可能性は低いです。

しかし、自律的に進化する能力を持つこの種の AI は、誰も無視すべきものではありません。なぜなら、特定の AI 技術が実際にこの能力を発揮した場合、非常に大きな潜在的なリスクを伴う可能性があるからです。

少なくとも彼の知る限りでは、Inflection AI も DeepMind もこの方向には進んでいない。

Inflection AI は AGI 企業ではありません。彼らが目指しているのは、非常に便利なパーソナル アシスタントを作ることです。このアシスタントは、ユーザーの個人情報に完全にアクセスしながら、高度にカスタマイズされた AI サービスをユーザーに提供します。

モデルトレーニングの軍拡競争は AI のリスクを増大させるでしょうか?

彼の会社であるInflection AIは、世界最大級のスーパーコンピューターを構築しており、今後18か月以内に、GPT-4を作成した時の10倍から100倍の規模の言語モデルのトレーニング実行が可能になるだろうと彼は考えています。

この軍拡競争スタイルのトレーニングモデルはAIのリスクを高める可能性があるかと尋ねられると、彼はこう答えた。

100 倍のトレーニングでも、より優れた GPT-4 として理解できるチャットボットが生成されます。より印象的なモデルではありますが、危険ではありません。自律性、物理世界を変換できないこと、およびモデル自体を危険にするその他の基本的な要素が欠けているためです。

非常に優れた、より優れた GPT-4 を生成するだけでは危険ではありません。危険なものにするには、上記のような他の機能を追加して、モデルが独自に反復処理したり、独自の目標を設定したりできるようにする必要があります。

それは今から5年、10年、15年、あるいは20年後のことになるでしょう。

スレイマン氏は、サム・アルトマン氏が最近、GPT-5 を訓練していないと述べたのは真実ではないかもしれないと考えている。 (いい加減にしろよ。分からないよ。みんな正直に話した方がいいと思うよ。)

彼は、大規模なコンピューティング能力を持つすべての企業が可能な限り透明性を保つことを望んでおり、そのために企業は保有するコンピューティング能力の総量を開示しています。

GPT-4 よりも大きなモデルをトレーニングしています。現在、6,000 個の H100 トレーニング モデルがあります。

12月までに、22,000台のH100が完全に稼働しました。今後は毎月1,000～2,000台のH100が追加される予定です。

彼は、Google DeepMind も同様のことをすべきであり、Gemini が何 FLOPS でトレーニングされたかを開示すべきだと考えています。

AIトレーニングのコストはどのように変化するか

コンピューティング能力のコストの観点から見ると、将来 AI トレーニングの規模が、特定のモデルをトレーニングするのに 100 億ドルのコストに達する可能性は低いでしょう。ただし、実際に 3 年かけてモデルをトレーニングする場合を除きます。これは、より大きなモデルをトレーニングするためにより多くのコンピューティング能力を投入すればするほど、かかる時間が長くなるためです。

コストが高くなると機能が強化される可能性がありますが、これは上限のない数学的な問題ではなく、多くの実際的な制限を考慮する必要があります。

ただし、チップの計算能力の向上に伴って計算コストは​​常に低下しているため、将来、特定のモデルをトレーニングするコストが、2022 年にそのモデルをトレーニングするために 100 億ドルを費やすのと同等になる可能性があります。

しかし、チップの計算能力は 2 ～ 3 倍に増加するため、この規模のシステムをトレーニングするコストは現在よりもはるかに低くなります。

たとえば、オープンソース コミュニティの Llama2 や Falcon などのモデルは現在 15 億または 20 億のパラメータしかありませんが、1750 億のパラメータを持つ GPT-3 の機能を備えています。

オープンソースの視点

クローズドソースのテクノロジー企業で常に働いてきたスレイマン氏は、オープンソース モデルの価値と潜在的なリスクについて非常に異なる視点を持っています。

まず、彼は、今後 5 年間、オープンソース モデルは最先端のクローズド ソース モデルより常に 3 ～ 5 年遅れをとると考えています。

さらに、オープンソース モデルは AI がもたらす社会的リスクを増大させます。

誰もが最新モデルに無制限にアクセスできる場合、「権力の急速な拡散」という現象が発生します。

たとえば、新しいメディア プラットフォームにより、誰もが完全な新聞として機能し、何百万人ものファンを持ち、さらには全世界に影響を与えることが可能になります。

最先端のモデルへの無制限のアクセスによりこの力はさらに高まり、今後 3 年間で人間は現在のモデルの 1,000 倍の規模のモデルをトレーニングできるようになります。

Inflection AI でさえ、今後 18 か月以内に、今日の最先端のモデルの 100 倍の計算能力を利用できるようになります。

オープンソースのビッグモデルは、この力をすべての人の手に委ね、潜在的に大規模な不安定化と破壊をもたらすツールをすべての人に提供します。

そして、その時が来たら、私たちはこれらのツールがもたらすかもしれない破壊的な結果を回避する方法を見つけようとします。誰かが非常に巧妙な比喩を作りました。それは、手で雨を受け止めて雨を止めようとするというものです。

彼はかつて、AI技術によって将来、多くの潜在的に危険な化合物や兵器の開発のハードルが下がるだろうと規制当局に説明したことがある。

AI は、研究室で技術的な問題に遭遇したときにツールを入手できる場所を教えてくれるなど、実際にこれらのものを作る上で多くの助けを提供できます。しかし、事前トレーニングやモデルの調整などからこれらのコンテンツを削除することで、そのようなリスクを効果的に軽減できることは事実です。

つまり、ビッグモデルの力を利用して悪事を働く人々に対しては、そうした行為をできるだけ困難にする必要があるのです。

しかし、すべてのモデルを可能な限りオープンソース化すると、将来的にモデルがますます強力になったときに、同様のリスクがさらに露呈することになります。

したがって、オープンソース モデルは確かに多くの人にとって良いものであり、誰もがモデルを入手してさまざまな実験を実施し、技術革新と改善をもたらすことができますが、誰もが善意を持ち友好的であるとは限らないため、オープンソースのリスクも認識する必要があります。

私の発言は私の活動とオープンソース コミュニティとの利益相反であると考える人や怒る人が多いかもしれませんが、それでも私は自分の見解を表明したいと思います。

彼はまた、オープンソースコミュニティを攻撃するためにこれらの発言をしたわけではないことを強調した。

「私の発言は、多くの人に私の活動とオープンソースコミュニティとの利益相反と解釈され、怒る人もいるかもしれないが、それでも私は自分の意見を表明し、人々の支持を得たいと考えている。」

GoogleとDeepMindのドラマ

ディープマインドでの10年間、彼はAI技術の構築プロセスに外部からの監督をより多く取り入れることに多くの時間を費やしました。

これはかなり苦痛なプロセスです。彼は、Google は善意を持っていると信じているが、同社は依然として伝統的な官僚組織のように運営されている。

Google の倫理委員会を設立したとき、機密性の高い技術の開発中に外部からの監視を提供する重要なステップとして、9 人の独立したメンバーで構成されることを計画しました。

しかし、保守派が任命され、過去に物議を醸す発言をしたことから、多くのネットユーザーがツイッターなどで彼女をボイコットし、彼女を支持する他の委員数名もボイコットし、委員会からの撤退を要求した。

それは完全な悲劇であり、非常に憂鬱です。この委員会の設立には2年かかりましたが、これは私たちが開発している非常に機密性の高い技術に対する外部審査への第一歩です。

残念なことに、1週間以内に9人のうち3人が辞任し、最終的に彼女も辞任し、委員会の半数が失われました。

すると、会社はこう言います。「なぜ人材を採用することで自分たちを制限する必要があるのか​​。これは完全に時間の無駄だ。」

実際、DeepMind が買収されたとき、私たちは買収の条件として、倫理および安全委員会を設置することを提示しました。

私たちの計画は、倫理・安全委員会の指示に従って、DeepMind をグローバルなベネフィット カンパニー、つまりすべての利害関係者が意思決定に発言権を持つ会社に育てることです。

保証有限会社として設立された会社です。次に、AGI の開発に関連する倫理的および安全上の目標を定めた憲章を作成する予定です。これにより、収益の大部分を科学的および社会的使命に充てることができるようになります。

これは非常に創造的で実験的な構造です。しかし、倫理委員会で何が起こったのかを見たアルファベットは、尻込みした。彼らはこう言いました。「これはまったく狂っている。同じことがあなたの国際的な利益団体にも起こるだろう。なぜそんなことをするんだ？」

最終的に、私たちは DeepMind を Google に統合しました。ある意味では、DeepMind は独立したことは一度もありません。もちろん、今では完全に Google の一部となっています。

Googleの次世代大型モデル「ジェミニ」

The Informationは、Googleのマルチモーダル人工知能モデルGeminiがリリースされ、OpenAIのGPT-4と直接競合すると独占的に報じた。

実際、今年の Google I/O カンファレンスで、ピチャイ氏は Google が次世代モデル Gemini を開発中であることを公表しました。

噂によると、このモデルは少なくとも 1 兆個のパラメータを持ち、数万個の Google TPU AI チップを使用してトレーニングされる予定です。

OpenAI と同様に、Google は GPT-4 アプローチを使用して、特定の機能を備えた複数の AI エキスパート モデルで構成されるモデルを構築します。

つまり、Gemini も専門家混合 (MoE) モデルです。

これは、コスト効率の観点から見て良い選択であるため、Google が Gemini をさまざまなサイズで提供したいと考えていることも意味している可能性があります。

Gemini は画像やテキストの生成に加えて、YouTube 動画の文字起こしデータでトレーニングされており、RunwayML Gen-2 と同様にシンプルな動画も生成できます。

さらに、Bard と比較して、Gemini はコーディング機能も大幅に向上しています。

Google は Gemini の発売後、Bard、Google Office Family、Google Cloud などのアップグレードを含め、徐々に自社の製品ラインに統合していく予定です。

実際、Gemini 以前にも、DeepMind は「Goodall」というコードネームのモデルを持っていました。これは、未発表のモデル Chipmunk をベースに構築され、ChatGPT に匹敵するものでした。

しかし、GPT-4の誕生後、Googleは最終的にこのモデルの開発を断念することを決定しました。

ジェミニの研究開発には、ディープマインド創業者のデミス・ハサビス氏とグーグル創業者のセルゲイ・ブリン氏が率い、少なくとも20人の幹部が関わっていたと言われている。

Google DeepMindには、元Google Brainディレクターのジェフ・ディーン氏などを含む数百人の従業員がいる。

デミス・ハサビス氏は以前のインタビューで、ジェミニはアルファ碁の型システムの利点のいくつかと大規模モデルの驚くべき言語機能を組み合わせるだろうと語っていた。

Googleはすでに万全の準備を整えており、Geminiが反撃を開始するのを待っているようだ。