安定性AIの今年最初の大きなモデル：特別に書かれたコード、18のプログラミング言語をサポート、10万のコンテキストを持ち、Appleのラップトップでオフラインで実行可能

Stability AI の今年最初のビッグモデルが登場しました!

これは Stable Code 3B と呼ばれ、27 億個のパラメータを持ち、コード記述用に特別に設計されています。

Stable Code 3B は、100K トークンのコンテキスト長で、 18種類のプログラミング言語を理解して処理できます。

さらに、ハードウェア要件は高くなく、MacBook Air などの一般的なラップトップを使用してオフラインで実行できます。

パフォーマンスの面では、Stable Code 3B は CodeLLaMA 7B よりも 60% 小さくなりますが、パフォーマンスは同様です。

BigCode 評価では、Stable Code 3B は、複数のプログラミング言語を含む MultiPL-E データセット上で、同様のサイズのモデルと比較して SOTA パフォーマンスを達成しました。

安定版コード 3B がリリースされたばかりですが、一部のネットユーザーはすでにプラグインで使用していると報告しています。

効果はとても良いです！サイズが小さく、さまざまなハードウェアと互換性があり、非常に高速に動作します。

安定コード 3B はどのようなものですか?

これに先立ち、Stability AIは昨年8月に初期バージョンであるStable Code Alpha 3Bをリリースしました。Stable Code 3Bはその進化版です。しかし開発チームは、Stable Code 3B は Stable LM 3B ベースモデルをベースに構築され、いくつかの追加機能が追加された最初のメジャーバージョンであると述べています。

これには、中間充填 (FIM) や、コンテキストの長さを 16,000 トークンから 100,000 トークンに拡張するための RoPE (回転位置埋め込み) メソッドの使用などの新機能のサポートが含まれます。

Stable Code 3B の全体的なアーキテクチャは LLaMA に似ています。これは、Flash Attention 2 アルゴリズムを使用するデコーダーのみのモデルです。

以下の18のプログラミング言語がサポートされています。

C、CPP、Java、JavaScript、CSS、Go、HTML、Ruby、Rust、Markdown、Shell、Php、Sql、R、Typescript、Python、Jupyter-Clean、RestructuredText

以下はパフォーマンス比較の補足です。

安定した Code 3B のパフォーマンスは、その 2 倍以上のサイズの CodeLLama 7B とほぼ同等であり、Python および CPP 言語ではさらにわずかに優れています。

同様のサイズのモデルの中では、Stable Code 3B が際立っています。

しかし、不満もある

Stable Code 3B は好評を博しているものの、多くのネットユーザーは「新しい点はあまりない」「それほど良くない」と考えています。

また、英語とプログラミング言語しかサポートされていないのも少し残念です。

これについてどう思いますか？

参考リンク:
[1] https://huggingface.co/stabilityai/stable-code-3b
[2] https://twitter.com/StabilityAI/status/1747348018884493623