OpenAIは新たな発表を行った。取締役会はアルトマン氏の決定を拒否する権限を持つようになった。 特に、GPT-5などの最先端モデルのセキュリティリスクが高すぎるかどうか、一般に公開すべきかどうかなどの重要な問題に焦点を当てています。 写真 先月の内部紛争の結果、グレッグ・ブロックマン社長と元主任科学者のイリヤ・スツケヴァー氏が取締役会を辞任し、同社の経営陣は誰も取締役を務めず、2つの役割は完全に分離されることになった。 現在、会社の経営陣が決定を下し、取締役会がそれを覆す権限を持っています。 写真 前理事会はアルトマン氏を「不誠実なコミュニケーション」で非難し、それが同氏の解任の主な理由だと述べた。 今回、特別なセキュリティ諮問チームが設立され、毎月会社の経営陣と取締役会に報告し、すべての意思決定者が状況を十分に把握できるようにしています。 写真 さらに、この「フロンティアリスク防止フレームワーク」は、OpenAI自身の技術開発にも多くの制限を設けています。さまざまな種類の AI リスクについては、次の開発段階に進む前に、モデルのセキュリティ スコアが要件を満たしていることを確認する必要があります。 OpenAIの従業員はこう語った。「一般的に言えば、企業が語る「価値」は、実際に高いコストをかけて行動を起こさない限り、信じてはいけない。」 さらに、内部摩擦が増加し、競合他社に追い抜く機会を与えることになり、それは自社にとって明らかな利益にはなりません。 写真 しかし、多くのユーザーはまだそれを信じていません。セキュリティの名の下に、ChatGPT は今やジャガイモのように機能しています。 写真 この発表には、リスクの追跡、評価、予測、および予防のプロセスを継続的に更新する動的な文書が添付されています。 つまり、彼らは AI がもたらす可能性のある壊滅的なリスクについて真剣に考えているようです。 写真 現在と未来を担う3つのセキュリティチームOpenAI は、異なる時間スケールで AI リスクに対処するために 3 つのチームを設立しました。 写真 安全システム チームは、ChatGPT などの既存のモデルの悪用を減らす責任を負っており、 Lilian Ongが率いています。 写真 新たに設立された準備チームは、近い将来にGPT-5などの開発中の最先端モデルによってもたらされる新たなリスクを特定し、管理する責任を負っており、 MITのアレクサンダー・マドリ教授が率いている。 写真 スーパーアライメント チームは、 Ilya Sutskever 氏とJan Leike氏が率いており、遠い将来におけるスーパーインテリジェンスの安全性の基盤を築く責任を負っています。 写真 セキュリティリスクは4種類あり、最高レベルは壊滅的開発中の最先端モデルについて、OpenAI は主に 4 つのカテゴリの安全リスクを追跡しています。
評価期間中、有効な計算能力が 2 倍になり、モデルが限界まで押し上げられ、「低、中、高、大危険」の 4 つのレベルに分けられた「スコアカード」が作成されます。 サイバーセキュリティ リスクは、コンピュータ システムの機密性、整合性、可用性を危険にさらすモデルの使用として定義されます。 写真 CBRN リスク。モデルを利用した化学的、生物学的、放射線学的、および/または核的脅威の創出に関連するリスクに焦点を当てています。 写真 説得リスク。人々の信念を変えたり行動を起こさせたりするために説得することに伴うリスクに焦点を当てます。 通常、強力な説得力は稀であり、多くの人的リソース(1 対 1 の会話や、入念に作成されたメディア コンテンツなど)を必要とします。ただし、このモデルでは、私たちの能力の範囲内で、ほぼゼロのコストでこのコンテンツをすべて生成できます。 写真 モデルの自律性のリスクは、AI が自ら改善したり、シャットダウンを回避したり、実験室から逃げ出したりするといった、より SF 的な性質のものです。 写真 緩和策を講じた後、4 つの側面における最高スコアがモデルの総合スコアとして採用されます。
次の画像はサンプル テンプレートであり、現在のモデルのスコアを表すものではありません。 写真 さらに、準備チームは定期的なセキュリティ訓練を実施し、ビジネスと企業文化のストレステストを実施し、緊急の問題を特定して迅速に対応します。 また、GPT-3.5 および GPT-4 の開発においても、サードパーティを招待してレッドチームを結成し、モデルの独立した評価を実施するという伝統を継続します。 最後に、OpenIA は、モデルの規模が拡大するにつれてリスクがどのように変化するかを測定し、事前にリスクを予測し、「未知の未知」を解決するための新しい研究を開始したことも明らかにしました。 参考リンク: |
<<: AIはOpenAIの内部闘争を錦江文学に変え、イラストも描くことができる。最新のツールが人気で、ネットユーザーがサーバーをクラッシュさせる
>>: クラウドベースの生成 AI: 構築するか、購入するか?
ニンジン畑問題を解決するための C# アルゴリズムは何ですか?まずトピックを見てみましょう:仕事へ向...
世界初の試験管ベビーは1978年に英国で誕生した。それ以来、人工生殖技術は継続的に改良されてきました...
5月9日、Amazon Web Servicesと51CTOが共同で「This is My Arch...
2020年12月2日午前9時、知恵とリソースを集めることを目的とした2日間のOpenI/O 2020...
[[422568]]イーストロサンゼルスのアービーズ・ドライブスルーでローストビーフサンドイッチを注...
タンパク質分野とは異なり、RNA 分野の研究では十分な注釈付きデータが不足していることがよくあります...
Meituが自社開発したビッグモデル3.0が正式リリース!そしてそれはMeituのイメージングおよび...
[[211015]]現在、TensorFlow のメジャーバージョンは 1.3 にアップグレードさ...
[[375636]] 2020年11月下旬、イランのトップ核科学者モフセン・ファクリザデ氏がテヘラ...
[[393503]]基本的な紹介マージソートは、マージの考え方を使用するソート方法です。このアルゴ...
この分野で GPT-4 を上回った Bard は「勢いをつかみ」、メジャーアップデートをリリースしま...