同義千文の720億パラメータモデルがオープンソース化、初の「フルサイズ・フルモード」オープンソース化を実現

12月1日、アリババクラウド同義千文の720億パラメータモデルQwen-72Bがオープンソース化されることが発表されました。このモデルは3Tトークンの高品質データに基づいてトレーニングされ、10の権威あるベンチマーク評価においてオープンソースモデルの中で最高の結果を達成し、いくつかの評価ではクローズドソースのGPT-3.5およびGPT-4を上回りました。

英語タスクでは、Qwen-72BはMMLUベンチマークテストでオープンソースモデルの中で最高得点を獲得しました。中国語タスクでは、Qwen-72BはC-Eval、CMMLU、Gaokao BenchなどのベンチマークでGPT-4を上回りました。数学的推論では、Qwen-72BはGSM8KとMATH評価で他のオープンソースモデルを大きく上回りました。コード理解では、HumanEval、MBPPなどの評価でQwen-72Bのパフォーマンスが大幅に向上し、コーディング能力が質的に飛躍しました。

Qwen-72Bは最大32kの長いテキスト入力を処理でき、長文理解テストセットLEvalでChatGPT-3.5-16kを上回る結果を達成したと報告されています。 R&D チームは、Qwen-72B のコマンドコンプライアンス、ツールの使用法、その他のスキルを最適化し、下流のアプリケーションに適切に統合できるようにしました。たとえば、Qwen-72B には強力なシステムプロンプト機能が搭載されており、ユーザーは 1 つのプロンプトだけで AI アシスタントをカスタマイズし、大型モデルに特定の役割を果たさせたり、特定の応答タスクを実行させたりすることができます。

Tongyi Qianwen は、Qwen-72B のオープンソース化と同時に、 18 億のパラメータモデル Qwen-1.8B と大規模オーディオモデル Qwen-Audioもオープンソース化しました。これまでに、Tongyi Qianwen は、18 億、70 億、140 億、720 億のパラメータを持つ 4 つの大規模言語モデルと、視覚理解と音声理解の 2 つの大規模マルチモーダル モデルをオープンソース化し、「フルサイズ、フルモーダル」のオープンソースを実現しました。

権威ある評価のトップ10では、Tongyi Qianwenの720億パラメータモデルがオープンソースモデルの中で最高得点を獲得しました。

Tongyi Qianwenの720億オープンソースモデルは、いくつかの点でクローズドソースのGPT-3.5とGPT-4を上回っています

ユーザーはたった1つのプロンプトで独自のAIアシスタントを作成できる

これまで、中国の大型模型市場には、Llama 2-70B と競合できる高品質のオープンソース モデルは存在しませんでした。 Qwen-72B は国内のギャップを埋め、高性能、高制御性、高コストパフォーマンスという利点を備え、市販のクローズドソースの大型モデルに劣らない選択肢を提供します。 Qwen-72Bをベースに、大・中規模企業は商用アプリケーションを開発でき、大学や研究機関はAI for Scienceなどの科学研究を行うことができます。

18億から72億まで、 Tongyi Qianwenはフルサイズのオープンソースを実現した最初の企業です

Qwen -72Bが「頂点を目指す」とすれば、オープンソースの大型モデルのサイズと性能の上限を引き上げることになる。一方、もう一つのオープンソースモデルであるQwen-1.8Bは記者会見で「底辺を目指す」と述べ、中国製オープンソースの大型モデルとしては最小となる。2Kの長さのテキストコンテンツを推論するには3Gのビデオメモリしか必要とせず、一般向け端末に導入できる。

18億、70億、140億から720億のパラメータスケールまで、Tongyi Qianwenは業界初の「フルサイズオープンソース」の大型モデルになりました。ユーザーは、 MoDaコミュニティでQwenシリーズモデルの効果を直接体験したり、 Alibaba Cloud Lingjiプラットフォームを通じてモデルAPIを呼び出したり、Alibaba Cloud Bailianプラットフォームに基づいて大規模なモデルアプリケーションをカスタマイズしたりできます。 Alibaba Cloud の人工知能プラットフォーム PAI は、Tongyi Qianwen モデルの全範囲に深く適応しており、軽量の微調整、完全なパラメータの微調整、分散トレーニング、オフライン推論検証、オンラインサービスの展開などのサービスを開始しました。

アリババクラウドは、自社開発の大規模モデルをオープンソース化した中国初のテクノロジー企業です。8月以降、Qwen -7B、Qwen-14B 、視覚理解モデルQwen-VLをオープンソース化しています。いくつかのモデルはHuggingFaceやGithubの大型モデルリストに掲載され、中小企業や個人開発者に支持されています。累計ダウンロード数は150万を超え、150以上の新モデルと新アプリケーションが生まれています。記者会見では、多くの開発パートナーが登壇し、Qwen を使用した専用モデルや特定のアプリケーションの開発経験を共有しました。

アリババクラウドのCTOである周景仁氏は、オープンソースエコシステムは中国のビッグモデルの技術進歩と応用を促進する上で極めて重要であると述べた。同益千文はオープンソースへの投資を継続し、「AI時代の最もオープンなビッグモデル」になることを望み、パートナーと協力してビッグモデルエコシステムの構築を推進していく。

Tongyi Qianwenのベースモデルは進化を続け、マルチモーダル探索が業界をリードしています

同一千文は、マルチモーダル大規模モデルの探求においても業界を一歩リードしており、同日、アリババクラウドは音声理解大規模モデルQwen-Audioを初めてオープンソース化した。

Qwen-Audio は、人間の声、自然音、動物の鳴き声、音楽の音など、さまざまな音声信号を認識して理解できます。ユーザーは音声を入力し、モデルに音声の理解を尋ねたり、音声に基づいて文学的創作、論理的推論、ストーリーの継続などを実行したりすることもできます。オーディオ理解により、大規模なモデルに人間に近い聴覚能力を与えることができます。

Tongyi モデルは、「聞く」ことと「見る」ことの両方が可能です。 8 月にTongyi Qianwen は視覚理解モデル Qwen-VL をオープンソース化し、これはすぐに国際的なオープンソース コミュニティにおけるベスト プラクティスの 1 つになりました。このカンファレンスでは、 Qwen-VLのメジャーアップデートも発表され、汎用OCR、視覚的推論、中国語テキスト理解の基本機能が大幅に向上しました。また、さまざまな解像度や仕様の画像を処理でき、「写真を見て問題を解く」ことさえ可能になりました。権威ある評価結果から見ても、実際の経験から見ても、Qwen-VL の中国語テキスト理解能力は GPT-4V をはるかに上回っています。

同義千文のクローズドソースモデルも継続的に進化しています。1か月前にリリースされた同義千文2.0クローズドソースモデルは、最近バージョン2.1にアップグレードされました。コンテキストウィンドウの長さは32kに拡張され、コード理解と生成機能、数学的推論機能、中国語と英語の百科事典知識、幻覚誘発耐性機能はそれぞれ30％、10％、5％近く、14％増加しました。ユーザーは、Tongyi Qianwen APP でクローズドソース モデルの最新バージョンを無料で体験できます。

第1回Tongyi千問AIチャレンジが始まり、参加者はTongyiオープンソースモデルファミリーで遊ぶことができる。

12月1日、第1回「Tongyi千問AIチャレンジ」がスタートしました。参加者は、新しくリリースされた720億パラメータモデルQwen-72Bを含むTongyiオープンソースモデルファミリーを無料で試すことができます。主催者は参加者に50万元相当のクラウドコンピューティングパワーと多額のボーナスを無料で提供します。このコンテストは、アルゴリズムとエージェントの2つの主要なトラックに分かれています。前者は、同義千文ビッグモデルの微調整に焦点を当て、高品質のデータを通じてオープンソースモデルのコード機能の上限を探求することを目的としています。後者は、開発者が同義千文ビッグモデルとModaコミュニティのエージェントビルダーフレームワークに基づいて新世代のAIアプリケーションを開発することを奨励し、さまざまな業界でのビッグモデルの実装を促進します。本日より、開発者はTianchiプラットフォームを通じてコン​​テストに申し込むことができます。