OpenAI: GPT-5が危険すぎる場合、理事会はアルトマンの釈放を阻止する権利がある

OpenAI: GPT-5が危険すぎる場合、理事会はアルトマンの釈放を阻止する権利がある

OpenAIは新たな発表を行った。取締役会はアルトマン氏の決定を拒否する権限を持つようになった

特に、GPT-5などの最先端モデルのセキュリティリスクが高すぎるかどうか、一般に公開すべきかどうかなどの重要な問題に焦点を当てています。

写真

先月の内部紛争の結果、グレッグ・ブロックマン社長と元主任科学者のイリヤ・スツケヴァー氏が取締役会を辞任し、同社の経営陣は誰も取締役を務めず、2つの役割は完全に分離されることになった

現在、会社の経営陣が決定を下し、取​​締役会がそれを覆す権限を持っています。

写真

前理事会はアルトマン氏を「不誠実なコミュニケーション」で非難し、それが同氏の解任の主な理由だと述べた。

今回、特別なセキュリティ諮問チームが設立され、毎月会社の経営陣と取締役会に報告し、すべての意思決定者が状況を十分に把握できるようにしています。

写真

さらに、この「フロンティアリスク防止フレームワーク」は、OpenAI自身の技術開発にも多くの制限を設けています。さまざまな種類の AI リスクについては、次の開発段階に進む前に、モデルのセキュリティ スコアが要件を満たしていることを確認する必要があります。

OpenAIの従業員はこう語った。「一般的に言えば、企業が語る「価値」は、実際に高いコストをかけて行動を起こさない限り、信じてはいけない。」

さらに、内部摩擦が増加し、競合他社に追い抜く機会を与えることになり、それは自社にとって明らかな利益にはなりません。

写真

しかし、多くのユーザーはまだそれを信じていません。セキュリティの名の下に、ChatGPT は今やジャガイモのように機能しています

写真

この発表には、リスクの追跡、評価、予測、および予防のプロセスを継続的に更新する動的な文書が添付されています。

つまり、彼らは AI がもたらす可能性のある壊滅的なリスクについて真剣に考えているようです。

写真

現在と未来を担う3つのセキュリティチーム

OpenAI は、異なる時間スケールで AI リスクに対処するために 3 つのチームを設立しました。

写真

安全システム チームは、ChatGPT などの既存のモデルの悪用を減らす責任を負っており、 Lilian Ongが率いています

写真

新たに設立された準備チームは、近い将来にGPT-5などの開発中の最先端モデルによってもたらされる新たなリスクを特定し、管理する責任を負っており、 MITのアレクサンダー・マドリ教授が率いている。

写真

スーパーアライメント チームはIlya Sutskever 氏Jan Leike氏が率いており遠い将来におけるスーパーインテリジェンスの安全性の基盤を築く責任を負っています

写真

セキュリティリスクは4種類あり、最高レベルは壊滅的

開発中の最先端モデルについて、OpenAI は主に 4 つのカテゴリの安全リスクを追跡しています。

  • サイバーセキュリティ
  • CBRN (化学、生物、放射線、核の脅威)
  • 説得
  • モデルの自律性

評価期間中、有効な計算能力が 2 倍になり、モデルが限界まで押し上げられ、「低、中、高、大危険」の 4 つのレベルに分けられた「スコアカード」が作成されます。

サイバーセキュリティ リスクは、コンピュータ システムの機密性、整合性、可用性を危険にさらすモデルの使用として定義されます。

写真

CBRN リスク。モデルを利用した化学的、生物学的、放射線学的、および/または核的脅威の創出に関連するリスクに焦点を当てています。

写真

説得リスク。人々の信念を変えたり行動を起こさせたりするために説得することに伴うリスクに焦点を当てます。

通常、強力な説得力は稀であり、多くの人的リソース(1 対 1 の会話や、入念に作成されたメディア コンテンツなど)を必要とします。ただし、このモデルでは、私たちの能力の範囲内で、ほぼゼロのコストでこのコンテンツをすべて生成できます。

写真

モデルの自律性のリスクは、AI が自ら改善したり、シャットダウンを回避したり、実験室から逃げ出したりするといった、より SF 的な性質のものです。

写真

緩和策を講じた後、4 つの側面における最高スコアがモデルの総合スコアとして採用されます。

  • 緩和後のリスクスコアが中以下の場合にのみ展開できます
  • 緩和後のリスクスコアが「高」以下の場合にのみ、さらなる開発が可能です。
  • 緩和前に「高」または「重大なリスク」であったモデルに対して追加のセキュリティ対策を講じる

次の画像はサンプル テンプレートであり、現在のモデルのスコアを表すものではありません。

写真

さらに、準備チームは定期的なセキュリティ訓練を実施し、ビジネスと企業文化のストレステストを実施し、緊急の問題を特定して迅速に対応します。

また、GPT-3.5 および GPT-4 の開発においても、サードパーティを招待してレッドチームを結成し、モデルの独立した評価を実施するという伝統を継続します。

最後に、OpenIA は、モデルの規模が拡大するにつれてリスクがどのように変化するかを測定し、事前にリスクを予測し、「未知の未知」を解決するための新しい研究を開始したことも明らかにしました。

参考リンク:
[1] https://openai.com/safety/preparedness
[2] https://twitter.com/OpenAI/status/1736809603311280489

<<:  AIはOpenAIの内部闘争を錦江文学に変え、イラストも描くことができる。最新のツールが人気で、ネットユーザーがサーバーをクラッシュさせる

>>:  クラウドベースの生成 AI: 構築するか、購入するか?

ブログ    

推薦する

大根畑の問題を解決する C# アルゴリズム

ニンジン畑問題を解決するための C# アルゴリズムは何ですか?まずトピックを見てみましょう:仕事へ向...

不妊治療の新たな夜明け:AI

世界初の試験管ベビーは1978年に英国で誕生した。それ以来、人工生殖技術は継続的に改良されてきました...

2020年Qizhi開発者会議が北京で盛大に開幕、第一弾の1000万インセンティブボーナスが発表された

2020年12月2日午前9時、知恵とリソースを集めることを目的とした2日間のOpenI/O 2020...

仕事を完了するにはまだ人間が必要か?ポストパンデミック時代に急成長する自動化の長所と短所

[[422568]]イーストロサンゼルスのアービーズ・ドライブスルーでローストビーフサンドイッチを注...

オープンソース!香港中文大学、MIT、復旦大学が初のRNA基礎モデルを提案

タンパク質分野とは異なり、RNA 分野の研究では十分な注釈付きデータが不足していることがよくあります...

Meitu Xiuxiuが最新の自社開発大型モデルを発売し、さまざまなAIGCゲームプレイを直接体験できる

Meituが自社開発したビッグモデル3.0が正式リリース!そしてそれはMeituのイメージングおよび...

TENSORFLOW に基づく中国語テキスト分類のための CNN と RNN

[[211015]]現在、TensorFlow のメジャーバージョンは 1.3 にアップグレードさ...

AI兵器の時代:イランの科学者は本当にAI兵器によって暗殺されたのか?

[[375636]] 2020年11月下旬、イランのトップ核科学者モフセン・ファクリザデ氏がテヘラ...

...

...

Java プログラミング スキル - データ構造とアルゴリズム「マージ ソート」

[[393503]]基本的な紹介マージソートは、マージの考え方を使用するソート方法です。このアルゴ...

Google は一連の大きな動きを発表しました: Gemini Pro は中国語をサポートし、Bard は描画を学習し、新しいモデルが利用可能になりました

この分野で GPT-4 を上回った Bard は「勢いをつかみ」、メジャーアップデートをリリースしま...

...