コンテキストウィンドウ 16,000 トークン、30 億パラメータ、安定性 AI コード大規模モデルがここにあります

最近、Vincent Diffusion アーティファクトをオープンソース化した Stability AI が、コーディング用の最初の生成 AI 大規模モデルである StableCode という新しい大規模モデルをリリースしました。安定性 Al はそれを「革命的」と表現しています。

報道によると、StableCode は、プログラマーが日常業務をこなせるように設計されており、同時に初心者の開発者がスキルを次のレベルに引き上げるための優れた学習ツールも提供します。

公式ブログアドレス: https://stability.ai/blog/stablecode-llm-generative-ai-coding

ネットユーザーは StableCode に大きな期待を寄せており、コードベース全体をコンテキストとして使用する大規模なコード モデルが本当に必要だと述べています。

3つのバージョン: 基本、コマンド、およびロングコンテキストウィンドウモデル

StableCode は、3 つの異なるバージョンのモデルを通じて開発者の効率性を高めます。ベースモデルは「StableCode-Completion-Alpha-3B-4K」で、デコーダーのみを使用する 30 億パラメータのコード補完モデルです。

ベースモデルは、BigCode スタック データセットのさまざまなプログラミング言語で事前トレーニングされており、特に Python、Go、Java、Javascript、C、マークダウン、C++ などの一般的なプログラミング言語でトレーニングされています。合計で、StableCode はHPC クラスター上で 5,600 億のトークン コードをトレーニングします。

ここでのBigCodeは、HuggingFaceとServiceNow Researchが2022年9月に共同で立ち上げたコードビッグモデルプロジェクトです。AIコード生成ツールを中心としたオープンコミュニティを構築し、ビッグ言語モデルコードを開発することを目的としています。

ハギングフェイス: https://huggingface.co/stabilityai/stablecode-completion-alpha-3b-4k

基本モデルをベースに、特定のユースケースに合わせて調整された命令モデル「StableCode-Instruct-Alpha-3B」は、複雑なプログラミングタスクの解決に役立ちます。このモデルは、stackoverflow 開発者調査レポートのトッププログラミング言語で事前トレーニングされた、30 億のパラメータ デコーダーのみの命令調整コード モデルでもあります。

同時に、ベースモデルは、Alpaca 形式の約 120,000 個のコード命令応答ペアでトレーニングされました。次の図は、StableCode 命令モデルを使用して特定の命令に対する応答を生成するコードの例を示しています。

Huggingface アドレス: https://huggingface.co/stabilityai/stablecode-instruct-alpha-3b

StableCode は、コーディング スキルをさらに習得したい人にとって理想的な構成要素です。ロングコンテキスト ウィンドウ モデル「StableCode-Completion-Alpha-3B」は、ユーザーが単一行および複数行の自動コード補完提案を使用できるようにする完璧なアシスタントと見なすことができます。

このモデルは、2023 年の StackOverflow 開発者調査レポートで最も使用されているプログラミング言語で事前トレーニングされた、30 億のパラメータ デコーダーのみのコード補完モデルでもあります。

以前にリリースされたオープンソース モデルと比較すると、このモデルのコンテキスト ウィンドウは 16,000 トークン (他のどのモデルよりも大きい) に達し、一度に処理できるコード数も以前より 2 ～ 4 倍多くなります。これにより、ユーザーは 5 つの中規模の Python ファイルを表示または編集できるため、初心者にとって理想的な学習ツールになります。

下の図に示すように、StableCode は Pytorch ディープラーニング ライブラリを使用して比較的複雑な Python ファイルを完成させます。ここで、グレー コードは StableCode の予測結果です。

Huggingface アドレス: https://huggingface.co/stabilityai/stablecode-completion-alpha-3b

同レベルのモデルの比較結果

次の表は、StableCode モデルの 3 つのバージョンのベンチマーク スコアを示しています。

StableCode は、一般的な HumanEval ベンチマークの pass@1 および pass@10 メトリックを使用して、同様のパラメーターとトークン数 (30 億パラメーター) を持つピア モデルとも比較されます。

下の図からわかるように、replit-coder（AIプログラミングユニコーンReplitがリリース）とstarcoderbaseを比較すると、StableCodeのpass@1はreplit-coderよりも強力で、starcoderbaseよりも弱く、pass@10は両方よりも強力です。

オリジナルリンク: https://stability.ai/blog/stablecode-llm-generative-ai-coding