ChatGPTはPyTorchなしでは構築できません。LeCunの発言は白熱した議論を引き起こしました。モデルメーカーが重量を公開しない理由は、

ここ2日間で、オープンソースの話題が再び人気を集めています。 「オープンソースがなければ、AI は何も持たない。AI をオープンに保て」と誰かが言いました。この見解は、チューリング賞受賞者であり Meta の主任科学者である Yann LeCun 氏を含む多くの人々によって共有されています。

もし産業用 AI 研究室が閉鎖されたままで、オープンソース コードがなく、あらゆるものに特許を申請して施行していたら、今日の AI 業界はどのようなものになるか想像してみてください。

PyTorch がなく、Transformer、ResNet、Mask-RCNN、FPN、SAM、DINO、seq2seq、wav2vec、メモリ拡張ネットワーク、Tansformers、BatchNorm、LayerNorm、Adam、ノイズ除去オートエンコーダ、ジョイント埋め込みアーキテクチャ、および多数の SSL メソッドがすべて特許取得されている世界を想像してみてください。AI 業界はどのようになるでしょうか?

画像出典: https://twitter.com/ylecun/status/1735704308891484248

LeCun 氏の意見は、より多くの人々の共感を呼んだ。「Google が Transformers をオープンソース化していなかったら、OpenAI は GPT を発明すらしていなかっただろう。これは本当に偽物の『OpenAI』だ」と考える人もいた。

画像出典: https://twitter.com/ai_for_success/status/1735705570500640871

LeCun氏はまた、「ChatGPTもPyTorch上に構築されています」と述べた。

これは議論する価値のある疑問を提起します。なぜ OpenAI や Anthropic のような企業は、大規模モデルの重みをオープンソース化したがらないのでしょうか?海外メディアのVentureBeatは詳細な記事を書き、一部の上級幹部にインタビューし、その理由を分析した。

機械学習、特にディープ ニューラル ネットワークでは、モデルの重みが非常に重要と考えられており、それがニューラル ネットワークが学習して予測を行うメカニズムであることがわかっています。トレーニング後の重みの最終値によってモデルのパフォーマンスが決まります。

一方、非営利団体 RAND コーポレーションの調査では、重みは保護する必要がある大規模モデルの唯一のコンポーネントではないものの、モデルの膨大な計算、収集および処理されるトレーニング データ、およびアルゴリズムの最適化と密接に関連していると指摘されています。重みを収集すると、悪意のある攻撃者がわずかなトレーニングコストで完全なモデルを悪用できる可能性があります。

論文アドレス: https://www.rand.org/pubs/working_papers/WRA2849-1.html

大手模型会社は重量の安全性に特に注意を払っています。 Jason Clinton 氏は Anthropic 社の最高情報セキュリティ責任者であり、彼の主な任務は、モデル Claude 氏のテラバイト サイズの体重ファイルが悪意のある人物の手に渡らないように保護することです。 「私はおそらく、ウェイトファイルの保護に時間の半分を費やしています。それが私たちの最大の焦点であり優先事項であり、最も多くのリソースを投入しているところです」と彼は VentureBeat とのインタビューで語った。

モデルの重みは「悪者」の手に渡ってはならない

ジェイソン・クリントン氏は、モデルの重みに関する企業の懸念は、それらの重みが非常に貴重な知的財産を表しているからであると考える人もいると強調した。実際、Anthropic のより重要な考慮事項は、これらの強力なテクノロジーが「悪者」の手に渡り、計り知れない悪影響を及ぼすことを防ぐことです。

基礎となるモデルの重みを誰が負うのかについて深い懸念を表明しているのはクリントン氏だけではない。実際、ホワイトハウスの最近の「人工知能の安全でセキュリティの高い開発と使用」に関する大統領令では、モデルベースの企業に対して、モデルの重量の所有権、占有、保護に関する文書を連邦政府に提供することが義務付けられています。

OpenAIも同様の立場を表明している。 OpenAIは2023年10月のブログ投稿で、独自仕様および未公開のモデルの重みを保護するために、サイバーセキュリティと内部脅威対策への投資を継続していると述べた。

40の攻撃ベクトルが実行中

ランド研究所の報告書「人工知能モデルの重みの保護」は、セラ・ネボ氏とダン・ラハフ氏が共同執筆しました。このレポートでは、AI モデルの重み付けが直面するセキュリティ上の脅威と将来のリスクに焦点を当てています。

VentureBeatとのインタビューで、ネボ氏は、現時点での最大の懸念は、これらのモデルが今何ができるかではなく、特に生物兵器の開発に利用される可能性など、国家安全保障の面で将来何が起こるかだと語った。

レポートの目標の 1 つは、不正な物理アクセス、既存の資格情報の侵害、サプライ チェーン攻撃など、攻撃者が使用する可能性のある攻撃方法を理解することです。報告書は最終的に40種類の攻撃ベクトルを特定し、それらは理論上のものではなく、実際に実行されており、場合によっては広く展開されているという証拠があることを強調した。

基礎モデルを公開することのリスク

特にオープンソース AI に関しては、AI モデルの重みを漏らすことがいかに危険であるか、またどの程度まで制限する必要があるかについて、すべての専門家が同意しているわけではないことに注意することが重要です。これは、人工知能分野におけるガバナンスの複雑さと課題を改めて裏付けています。

スタンフォード AI 研究所の政策概要「オープン ファンデーション モデルの管理に関する考慮事項」では、オープン ファンデーション モデル (つまり、重みが広く利用可能なモデル) は市場の集中に対抗し、イノベーションを促進し、透明性を高めることができる一方で、クローズド モデルや既存のテクノロジーと比較した限界リスクは不明であると強調しています。

簡単なリンク: https://hai.stanford.edu/issue-brief-considerations-governing-open-foundation-models

AIガバナンスの上級顧問ケビン・バンクストン氏は、この説明会は事実に基づいたものであり、恐怖をあおる意図はなかったとして「好評」だったと述べた。

この概要では、7 月にリリースされ、モデルの重みが広く利用可能で、下流での修正とレビューが可能な Meta の Llama 2 の例を使用しています。 Metaは、未公開のモデルウェイトのセキュリティを確保し、モデルウェイトにアクセスできる人の範囲を制限することを約束していますが、2023年3月のLlamaのモデルウェイトの漏洩は依然として印象的でした。

ジョージタウン大学人工知能評価研究所の上級研究員ヘザー・フレイズ氏は、オープンソースのソフトウェアとコードは、大規模なコミュニティに依存できるため、歴史的に非常に安定しており、安全であると指摘した。強力な生成 AI モデルが登場する前は、通常のオープンソース テクノロジが危害を及ぼす可能性は非常に限られていました。彼女は、従来のオープンソース技術とは異なり、オープンソースモデルの重み付けのリスクは、最も被害を受ける可能性が高いのはユーザーではなく、ディープフェイク詐欺の被害者など、故意に被害を被る対象とされた人々であるという点だと述べました。

セキュリティは通常、オープン性から生まれる

しかし、反対の意見を述べる人もいました。 VentureBeat とのインタビューで、Hugging Face の機械学習エンジニアである Nicolas Patry 氏は、タスク プログラムの実行に伴う固有のリスクはモデルの重みにも当てはまるが、だからといって閉じられるべきではないと強調しました。

オープンソース モデルに関しては、Mistral による最近のオープンソース ビッグ モデルのように、できるだけ多くの人に利用できるようにするという考え方があります。 Nicolas Patry 氏は、セキュリティ意識はオープンであることから生まれることが多く、透明性は誰もが確認できるためセキュリティの向上につながると考えています。クローズドセキュリティにより、他人があなたの行動を知ることができなくなります。

VentureBeat はまた、オープンソースフレームワーク PyTorch Lightning を開発する Lightning AI の CEO である William Falcon 氏にもインタビューしました。同氏は、企業がモデルの漏洩を心配しているのに、もう手遅れだと考えています。オープンソース コミュニティは驚くべきペースで追いついており、オープン リサーチによって、現在の AI サイバー セキュリティに必要な種類のツールが生まれる可能性があります。同氏の見解では、モデルがオープンになればなるほど、能力が民主化され、サイバーセキュリティの脅威に対抗するためのより優れたツールが開発される可能性がある。

Anthropic 社では、一方では現地調査のサポートに努めるとともに、他方では優秀なセキュリティ エンジニアを雇用するなどして、模型の重量物の安全性の確保に努めて​​います。

オリジナルリンク: https://venturebeat.com/ai/why-anthropic-and-openai-are-obsessed-with-securing-llm-model-weights/