一時停止トークンを使用して大規模モデルを再トレーニングすると、AIは行動する前によく考えることを学ぶ

ChatGPT に回答を出す前に手順について考えてもらうことで、精度を向上させることができます。

では、プロンプトワードを省略して、この能力を大きなモデルに直接取り入れることは可能でしょうか?

CMU と Google チームによる新しい研究では、大規模なモデルをトレーニングするときに一時停止トークンを追加することでこれを実現します。

実験では、8つの評価項目の結果が改善され、そのうちSQuADのEMスコアは18％増加し、CommonSenseQAは8％増加し、GSM8kの推論タスクも1％増加しました。

研究者のジャック・ハック氏は、少し前にも同様の仮説を提唱しており、それが検証されたことを非常に嬉しく思っていると語った。

Nvidia のエンジニア、アーロン・エリクソン氏は、それは人間と話すときに「えー」や「あのー」を付け加えるのと同じではないか、と述べました。

事前トレーニングと微調整の両方で一時停止トークンが追加されます

この研究全体は、単純なアイデアに基づいています。

一連の (一時停止トークン) を入力シーケンスに追加し、モデルが次のトークンを出力するのを遅らせます。

これにより、より複雑な入力を処理するための追加の計算時間がモデルに与えられます。

著者は、下流のタスクを微調整するときにこれを導入するだけでなく、事前トレーニング中にシーケンスにランダムに挿入して、モデルが両方の段階でこの計算遅延を活用する方法を学習できるようにしています。

事前トレーニング段階では、標準的な自己回帰事前トレーニングのために、一定の割合の一時停止トークンがコーパスからの入力シーケンスにランダムに挿入されます。ただし、損失を計算する際には、一時停止トークンの予測はスキップされます。

下流タスクを微調整する際には、一定数の一時停止トークンも入力に追加され、モデルパラメータを微調整しながらターゲットシーケンスに対して自己回帰予測が実行されます。

推論フェーズでも同じ数の一時停止トークンが追加されますが、最後の一時停止トークンまでモデル出力を無視し、その後回答の抽出を開始します。

実験では、130M パラメータと 1B パラメータの2 つのバージョンに分かれた標準の Transformer 純粋デコーダー モデルを使用しました。

一時停止トークンは、独自の埋め込みサイズである 1024 個のパラメータのみを追加します。

9 つの異なるタスクでの実験では、微調整段階でのみ一時停止トークンを導入する効果は明ら​​かではなく、一部のタスクは改善されないことが示されました。

ただし、事前トレーニングと微調整の両方で一時停止トークンを使用すると、ほとんどのタスクで大幅な改善が達成されます。

この論文では、一時停止トークンの数や場所などの重要なハイパーパラメータについても検討しています。通常、さまざまなモデルに最適な数があることがわかります。

最後に、著者はこの研究にも多くの限界があることを指摘した。

• トークンを一時停止するとモデル計算量が増加するため、他の方法と比較することが公平であるかどうかはまだ議論の余地があります。
• この新しい方法は、再度の事前トレーニングが必要であり、実際の適用には一定の困難がある。
• 具体的な動作メカニズムについてはまだ深く理解されていない。
• 推論中に一時停止トークンの数が0の場合、モデルのパフォーマンスは依然として低い。

検索エンジン You.com の CEO は、次は人間の認知能力を向上させるためのあらゆる技術を大規模モデルで試すべきか、と語りました。

今は「一歩ずつ考える」と「深呼吸する」です。

おそらく次のヒット論文は、大きなモデルに問題を抱えたまま眠ることを教えたり、あるいはもっととんでもないことに、健康的な食事と運動を教えたりするものになるだろう。

論文アドレス: https://arxiv.org/abs/2310.02226