アリババクラウドは、70億のパラメータを持つTongyi Qianwen大規模モデルをオープンソース化し、無料で商用利用可能に

大規模モデルの開発動向はオープンソースへと移行し始めています。

周知のとおり、ChatGPT、GPT-4などのスターモデルはオープンソースではありません。それに応じて、オープンソース分野では、Metaが最近リリースしたLlama 2が、無料かつ商用利用可能な大規模モデルシリーズとして特に注目を集めています。

今日、オープンソース分野にもう一つの朗報が届きました。AIモデルコミュニティModelScopeが、Qwen-7BとQwen-7B-Chatという2つのオープンソースモデルを発表しました。Alibaba Cloudは、これらがTongyi Qianwenの70億パラメータ汎用モデルと対話モデルであることを確認しました。

最も重要なのは、どちらのモデルもオープンソースで、無料で、市販されていることです。

• マジックタワーモデルスコープ: https://modelscope.cn/models/qwen/Qwen-7B/summaryhttps://modelscope.cn/models/qwen/Qwen-7B-Chat/summary
• ハギングフェイスアドレス: https://huggingface.co/Qwen
• GitHub アドレス: https://github.com/QwenLM/Qwen-7B

具体的には：

• Tongyi Qianwen-7B（Qwen-7B）は、Alibaba Cloudが開発したTongyi Qianwen大規模モデルシリーズの70億パラメータモデルです。 Qwen-7B は、超大規模な事前トレーニング データでトレーニングされた、Transformer に基づく大規模言語モデルです。事前トレーニングのデータの種類は多様で、大量のオンラインテキスト、専門書、コードなど、広範囲にわたります。中国語や英語を含む複数の言語をサポートするベースモデルです。2兆以上のトークンのデータセットでトレーニングされており、コンテキストウィンドウの長さは8kに達します。
• Qwen-7B-Chat は、人間の認知に合わせて調整された Qwen-7B ベース モデルに基づく中国語 - 英語対話モデルです。

オープンソース コードは、Qwen-7B および Qwen-7B-Chat の量子化をサポートし、ユーザーがコンシューマー グレードのグラフィック カードにモデルを展開して実行することをサポートします。

モデルをダウンロードしたいユーザーは、MoDa コミュニティから直接モデルをダウンロードするか、Alibaba Cloud Lingji プラットフォームを通じて Qwen-7B および Qwen-7B-Chat にアクセスして呼び出すことができます。Alibaba Cloud は、モデルのトレーニング、推論、展開、微調整など、幅広いサービスをユーザーに提供します。

実際、アリババクラウドは今年4月にはすでに自社開発のビッグモデル「Tongyi Qianwen」をリリースしており、今回の2つのオープンソースモデルは研究者がビッグモデルを利用するハードルを大幅に下げた。この動きにより、アリババクラウドは中国で初めて大規模モデルオープンソースの仲間入りを果たした大規模テクノロジー企業となる。

複数の権威ある評価において、Tongyi Qianwen 7B モデルは国内外の同規模のモデルをはるかに上回る結果を達成し、業界最強の中国語と英語の 7B オープンソース モデルとなりました。

Tongyi Qianwen 7B 事前トレーニング済みモデルは、複数の権威あるベンチマーク評価で優れたパフォーマンスを発揮しました。中国語と英語の機能は、国内外の同規模のオープンソース モデルの機能をはるかに上回っており、一部の機能は 12B や 13B 規模のオープンソース モデルの機能さえ上回っています。

英語能力評価ベンチマーク MMLU では、Tongyi Qianwen 7B モデルは、主流のオープンソース モデル 7B、12B、13B よりも高いスコアを獲得しました。このベンチマークには 57 の分野からの英語の質問が含まれており、人文科学、社会科学、科学、工学の総合的な知識と問題解決能力がテストされます。

中国の常識能力評価ベンチマーク C-Eval では、Tongyi Qianwen は検証セットとテストセットの両方で最高得点を獲得した 7B オープンソース モデルであり、その堅実な中国語能力を実証しています。

数学の問題解決能力評価の GSM8K やコーディング能力評価の HumanEval などのベンチマークでも、Tongyi Qianwen 7B モデルは優れたパフォーマンスを発揮し、同サイズのすべてのオープンソース モデルや一部の大規模オープンソース モデルを上回りました。

Alibaba Cloudは、オープンソースのビッグモデルは、ユーザーがモデルのトレーニングと展開のプロセスを簡素化するのに役立つと述べました。ユーザーはモデルをゼロからトレーニングする必要はありません。事前にトレーニングされたモデルをダウンロードして微調整するだけで、高品質のモデルを迅速に構築できます。

Tongyi Qianwen のオープンソース化により、より多くの企業や機関がこの仲間入りを果たし、より多くの研究者に利便性をもたらすようになると信じています。