スタンフォード大学の最新LLMランキングが発表されました！自社のアルパカが最下位、中国チームのウィザードLMオープンソースが1位、GPT-4とクロードが1位と2位となった。

少し前、カリフォルニア大学バークレー校が主催する「LLM予選コンペティション」が業界で大きな注目を集めました。

さまざまなオープンソースモデルに加えて、GPT-4やPaLM 2などの「クローズドソース」モデルも多数存在し、「準中国語」ランキングリストさえあります。

最近、スタンフォード大学のチームも LLM 自動評価システムである AlpacaEval と、それに対応する AlpacaEval リーダーボードをリリースしました。

このスタンフォードのランキングでは、GPT-4 が依然として 95% を超える勝率で絶対的なリードを保ち、1 位を獲得しました。

これに続いてClaudeとChatGPTが続き、どちらも勝率は80%を超えています。その中で、Claude は 3% 未満の差で 2 位を獲得し、ChatGPT は 3 位にランクされました。

第4位は、予選ラウンドの新人であるMicrosoft中国チームがリリースしたWizardLMでした。

カリフォルニア大学バークレー校のビクーニャは引き続き安定した成績を残し、勝率70％以上で6位にランクインした。

それに比べて、スタンフォード大学のアルパカは16位にしかランクされていません...

実際、チームはオリジナルのアルパカの発売以来、大幅な改善を遂げており、勝率は 26% から 44% に増加しましたが、表彰台にはまだまだ遠い状況です。

これに対して、著者の一人は「私たちは何か間違ったことをしたのでしょうか？」と不満を表明した。

AlpacaEval: 使いやすく、高速で、低コスト、人間による注釈で検証済み

AlpacaEval は AlpacaFarm と Aviary を組み合わせたものです。

一方では AlpacaFarm と同じコード (キャッシュ/シャッフル/ハイパーパラメータ) を使用し、他方では Aviary に似たソートヒントを使用します。

同時に、Aviary のプロンプトは、より長い出力に偏らないように変更されました。

チームは、AlpacaEval が優れた結果を示したと述べています。

人間の投票の大多数との一貫性は、一人の人間の注釈者よりも高い
勝率は人間による注釈と高い相関関係にある（0.94）
lmsysベンチマークと比較して大幅な改善（63%から69%へ）

勝率

モデルの出力は、各命令において text-davinci-003 (参照テキスト) よりも一定の割合で優れています。

具体的には、まず AlpacaEval データセットから各命令における期待モデルの出力ペアを収集し、各出力を同じ命令における参照モデル (text-davinci-003) の出力とペアにしました。

これらの出力は自動評価者に同時に送られ、どちらが優れているか（つまり、評価者の好み）が判断されます。

最後に、データセット内のすべての命令の優先順位を平均して、text-davinci-003 に対するモデルの勝率を取得します。 2 つのモデルが同点の場合、半分の優先順位とみなされます。

論文アドレス: https://arxiv.org/pdf/2305.14387.pdf

標準誤差

勝率の標準誤差（N-1 で正規化）、つまりさまざまな指示に対する平均の好み。

異なる評価者の比較

チームは、収集された 2.5K の手動注釈 (各指示には平均 4 つの手動注釈が含まれています) と比較することにより、AlpacaEval データセット上のさまざまな自動注釈手順を評価しました。

以下は、スタンフォード評価ツール (alpaca_eval_gpt4)、以前の自動評価ツール (alpaca_farm_greedy_gpt4、aviary_gpt4、lmsys_gpt4)、人間 (humans)、およびさまざまなベースラインモデル (gpt4、claude、text_davinci_003、guanaco_33b、chatgpt) のテスト結果です。