OpenAI の予測: スーパーインテリジェンスは 10 年以内に到来する!鄭済集落は人類を救い、4年で同盟を完全に征服した

スーパーAIがみんなを殺す！

サム・アルトマン氏は、AI の将来について何度も公に懸念を表明しており、彼自身も夜眠れないほどだ。

現在、OpenAI は、今後 4 年間でコンピューティング能力の 20% を使用して「スーパーインテリジェンス調整問題」を解決しようとするチームを結成しました。

写真

最新のチームは、共同創設者兼主任科学者のイリヤ・スツケヴァー氏とヤン・ライケ氏が率いる。

OpenAIはブログの冒頭の数行で、超知能の到来に関する予測と、それが「世界を破壊する」能力を持つことに対する深刻な懸念を詳しく説明した。

スーパーインテリジェンスは人類がこれまでに発明した技術の中で最も影響力の大きいものとなり、世界の最も重要な問題の多くを解決するのに役立つでしょう。しかし、超知能の強大な力は非常に危険であり、人類の力の喪失、さらには人類の絶滅につながる可能性もあります。

スーパーインテリジェンスは今のところ遠いように思えますが、10年以内に実現できると私たちは信じています。

今後 4 年間で OpenAI がやらなければならないことは、超知能がすべての人類を殺してしまうのを防ぐことです。

4年でスーパーAIアライメント問題を解決する

アルトマン氏は、これらのリスクを管理し、整合性の問題を完全に解決するためには、新しいガバナンス機関を設立する必要があると考えています。

同氏は、潜在的なスーパーAIを誘導したり制御したりするための適切な解決策は現時点では存在しないと述べた。

現在のテクノロジーは、人間のフィードバックに基づく強化学習 (RLHF) など、人間の監督に依存しています。

しかし、人間よりもはるかに賢い AI システムを監視するために人間の力だけに頼ることは、いつか面倒で面倒なものになるでしょう。しかし、現在のアライメント技術はスーパーインテリジェンスにまで拡張することはできないため、新たな技術革新の必要性が議題に上がっています。

アルトマン氏は本日、「ヒーローリスト」も発表した。

写真

OpenAI の目標は、ほぼ人間レベルの自動アライメント研究者を構築し、その後、膨大な量のコンピューティングを使用して研究活動を拡大し、スーパーインテリジェンスを反復的に微調整することです。

最初の「自動調整研究者」、つまり本質的には AI を作成するために、OpenAI は 3 つのステップを踏みました。

まず、スケーラブルなトレーニング方法を開発します。

次に、生成されたモデルを検証します。

3 番目に、アライメント パイプライン全体の圧力テストを実行します。

研究者は、AI システムを使用して他の AI システムの評価に役立てます (スケーラブルな監督)。また、モデルが人間の研究者が監督できないタスクに監督を一般化する方法を理解し、制御したいと考えています (少しわかりにくい)。

その後、研究者らは、システムの一貫性を検証するために、問題のある動作と問題のある内部構造を自動的に検索しました。

最後に、不整合モデルを見つけることでプロセス全体をテストし、開発されたフレームワークがさまざまな種類の不整合を検出できることを確認します (敵対的テストと呼ばれます)。

OpenAIの研究者たちは、問題をより深く掘り下げていくと焦点が変わり、新たな研究分野が生まれる可能性もあると予想している。

新しいチーム

この目的のために、OpenAI はトップクラスの機械学習研究者とエンジニアで構成されるチーム「Superalignment」の結成を正式に発表しました。

OpenAIは今後4年間で、これまでに獲得したコンピューティングリソースの20%をスーパーAIアライメント問題の解決に充てる予定だ。

新しい方法の開発から実際の応用に向けた拡大まで、多くのチームがこの過程に関与することが予想されます。

OpenAIは、その目標は4年以内にスーパーインテリジェンスの調整に関する中核的な技術的課題を解決することだと述べた。

これは大きな問題のように聞こえ、実装が100％成功するとは限らないが、OpenAIは、すべての関係者の共同の努力によって解決できると信じている。

OpenAIの共同創設者兼主任科学者であるイリヤ・スツケヴァー氏は、この目標を研究の中心に据え、アラインメントプロジェクトの責任者であるヤン・ライケ氏とともにチームを率いる予定だ。

写真

チームメンバーには、これまでアライメント作業を担当してきた研究者やエンジニア、さらには他チームの研究者も含まれており、大勢の顔ぶれとなっています。

LeCun の「犬レベル」の AI は本当に 10 年後に復活するのでしょうか?

10年以内に超知能AIシステムが誕生するというOpenAIの予測は、非常に大胆なものと言えるでしょう。

まず、ChatGPT を例に挙げると、これを人間の思考能力を持つ人工知能として認識する人は誰もいません。

対照的に、ChatGPT はオートコンプリートに似た大規模な言語モデルとして機能し、人間のような応答を再現できますが、単語の背後にある意味を完全に理解することはできません。

その結果、明らかに間違った答えをでっち上げたり、基本的な論理を理解していない答えを出したりしてしまうことがあります。

少し前に、Andrew Ng 氏は新しいコースで、ChatGPT は単語を反転せず、Reddit のホット リストに直接表示されることはないと指摘しました。

写真

たとえば、「lollipop」という単語を逆に発音するように指示すると、「pilollol」と出力され、完全に混乱してしまいます。

主な理由は、大規模なモデルではトークンを使用してテキストを処理するため、メモリと時間の複雑さが軽減されるという利点があるためです。

しかし、単語をトークン化する際には、モデルが意味のある入力を学習することが難しいという致命的な問題が明らかに存在します。これは、ChatGPT が単語の意味を理解できない理由も説明しています。

単語の反転タスクを処理するように要求された場合、モデルは各トークンを反転するだけになる可能性があり、見た目が醜くなります。

ChatGPT はさておき、もっと広い視点で言えば、チューリング賞受賞者のヤン・ルカン氏は、現在の人工知能は猫や犬にも及ばない AI だと常に言っています。

つまり、「ChatGPT は犬ほど賢くないかもしれない」ということです。

写真

LeCun氏は、現在のAIシステムは、ChatGPTでさえ、人間の知能のレベルに達していないと述べた。

彼の意見では、現在の AI の知能レベルは心配するほどのものではないため、あまり神経質になる必要はないとのことです。

現在の生成 AI モデルはすべて LLM でトレーニングされており、言語のみでトレーニングされたモデルはあまり賢くありません。これらのモデルはパフォーマンスが非常に限られており、現実世界についてはまったく理解していません。

そのため、OpenAI が超知能 AI の到来が間近に迫っていると予測していることは、一部の人にとっては奇妙に思えるかもしれません。

それにもかかわらず、彼らは依然として準備を整え、AI が人類を絶滅させるという考えを未然に防ぐために率先して行動できることを望んでいます。

ネットユーザーQ&A

Stability AI の CEO は、AGI を ASI と一致させることが当社の計画であると述べました。

私の主張（あなたの主張も述べてください）: 自由を奪わずに超知能を完全に協調させることはできない。整列と自由は直交します。 I) 人類に実存的な脅威を与え、II) 人類の力を奪う可能性のある AI を構築しないでください。

写真

OpenAIのブログによると、将来的には計算能力の20％がこのタスクに投入される予定だが、ネットユーザーからは疑問の声が上がっている。

超知能の安全性について誰かが考えるべき時が来ている。しかし現実的に考えてみましょう。計算量の 20% で本当に問題が解決するのでしょうか?それは、このような大きな問題に対するほんの一滴に過ぎないように思えます。

写真

OpenAIのアライメントチームリーダーであるJan Leike氏は次のように説明する。

コンピューティングの 20% は決して小さな量ではなく、OpenAI がこの規模でリソースを割り当てる意思があることに非常に感銘を受けました。

これはアライメントに対するこれまでで最大の投資であり、人類がこれまでにアライメント研究に費やした総額を上回る可能性があります。

写真

OpenAI はこのタスクを完了するのに 4 年かかります。失敗したのか、それとも十分な速さで進んでいないのかをどのように判断するのでしょうか?

今後の実証データに注目していきます。

1. 研究ロードマップの一部について、進捗状況をローカルで測定できる（例：スケーラブルな監督）

2. GPT-5がどれだけうまく整合しているかがわかる

3. 技術開発のスピードを注意深く監視します

写真

実際、ほとんどの人は、アライメント研究を本当に解決する前に、OpenAI がスーパー AI の開発をやめるかどうかをまだ知りたいと思っています。

写真

実際、Jan Leike 氏の発言により、GPT-5 が開発中であることがすでに明らかになっています。

写真

多くの人々が依然として OpenAI のアプローチを支持しています。

ネットユーザーたちは、機械による説明可能性が戦略の一部であり、ASI がブラックボックスであってはならないという希望を表明した。ある日、ASI がどのように動作するかを理解せずに ASI を構築したら、大きな問題に直面することになります。

写真

写真