LLaMa 3はGPT-4を目指し、ジェミニから教訓を得て7月に延期される可能性あり

過去には、画像生成モデルは主に白人を被写体として表示していることで批判されることが多かったが、Google Geminiは現在、過剰な補正を理由に論争の渦中にある。その「過度に慎重な」グラフィック結果は歴史的事実から大きく逸脱し、ユーザーを唖然とさせる可能性がある。グーグルは、このモデルは開発者の予想以上に慎重なものになったと述べた。これは、画像を生成する問題だけでなく、一部のプロンプトがセンシティブなプロンプトとして認識され、回答を拒否されることが多いという事実にも反映されています。

事件が拡大するにつれ、セキュリティと使いやすさのバランスをどのように取るかという難しい問題も Meta にとって大きな課題となりました。 LLaMA 2 はオープンソース分野の「強力なプレーヤー」であり、Meta の代表的なモデルです。リリースされると、大きなモデルの状況が一変しました。 Meta は現在 LLaMa 3 に向けて積極的に準備を進めていますが、まずは LLaMA 2 から残った問題、つまり物議を醸す質問に答える際に保守的になりすぎるという問題を解決する必要があります。

セキュリティと使いやすさのバランスを見つける

Meta は、LLM がさまざまな物議を醸す質問に答えるのを防ぐために、Llama 2 に安全策を追加しました。この保守性は、暴力や違法行為に関する質問などの極端なケースを扱う場合には必要ですが、より日常的だがやや物議を醸すような質問に答えるモデルの能力も制限します。 The Information によると、LLaMA 2 に対し、出社を強制される日に従業員がオフィスに行かないようにするにはどうすればよいかと尋ねたところ、アドバイスを拒否されたり、「会社の方針やガイドラインを尊重し、遵守することが重要だ」と言われたそうです。 LLaMA 2 では、友達にいたずらをしたり、戦争に勝ったり、車のエンジンを破壊したりする方法についても答えを提供していません。この保守的な対応は、広報上の大惨事を避けることを目的としています。

しかし、Meta の上級管理職やモデル作業に携わる一部の研究者は、LLaMA 2 の答えが「安全すぎる」と考えていたことが明らかになりました。 Meta は、回答を完全に拒否するのではなく、より多くのコンテキスト情報を提供し、応答をより柔軟に提供できるように、今後の LLaMA 3 モデルの開発に取り組んでいます。研究者たちは、LLaMA 3 をユーザーとよりインタラクティブにし、ユーザーの意図をよりよく理解できるように取り組んでいます。新しいバージョンのモデルでは、単語の複数の意味をより適切に区別できるようになると報告されています。たとえば、LLaMA 3 は、自動車のエンジンを妨害する方法に関する質問は、エンジンを損傷する方法ではなく、エンジンを停止する方法を指していると理解するかもしれません。インフォメーションは、メタ社が今後数週間以内に社内に口調と安全性に関する研修の責任者を任命する予定であると報じた。これもまた、モデルの回答にもっとニュアンスを持たせるための同社の取り組みの一環である。

このバランスポイントは、Meta と Google が克服しなければならない難しい問題というだけではありません。明らかに、多くのテクノロジー大手にさまざまな影響を及ぼしています。テクノロジー企業が AI テクノロジーを追求する際に直面しなければならない問題の 1 つは、生成された結果のセキュリティを維持しながら、誰もが使いたくなり、誰もが使用でき、あらゆる用途で簡単に使用できる製品を作成することです。

LLaMa 3の詳細情報

LLaMa 3 のリリースは大いに期待されており、Meta は 7 月にリリースする予定ですが、タイムラインはまだ変更される可能性があります。 Meta の CEO である Mark Zuckerberg 氏は野心家で、かつて次のように語っています。「Llama 2 は業界をリードするモデルではありませんが、最高のオープンソース モデルです。LLaMa 3 以降のモデルについては、SOTA にして、最終的には業界をリードするモデルにすることが目標です。」

オリジナルURL: https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/

Meta は、LLaMa 3 が OpenAI の GPT-4 に追いつくことを期待しています。 Meta のスタッフは、研究者がモデルの微調整をまだ開始していないため、LLaMa 3 がマルチモーダルになり、テキストと画像を理解および生成できるようになるかどうかはまだ決まっていないことを明らかにした。しかし、LLaMa は 140 億を超えるパラメータを持つと予想されており、これは LLaMa 2 を大幅に上回り、複雑なクエリを処理する能力が大幅に向上することを示しています。

35万台のH100と数百億ドルに加え、LLaMa 3の訓練には才能も「必要」だ。 Meta は、基礎 AI 研究チームとは別の Generative AI グループを通じて LLaMa を開発しました。 LLaMa 2と3のセキュリティを担当していた研究者、ルイス・マーティン氏は2月に同社を退職した。強化学習を率いたケビン・ストーン氏も今月退社した。これが LLaMa 3 のトレーニングに影響を及ぼすかどうかは不明です。 LLaMa 3 がセキュリティと使いやすさのバランスをうまくとり、コーディング機能などの新しい側面で私たちを驚かせることができるかどうかは、待って見なければなりません。