Apple: 画像モデルの事前トレーニングに言語モデルの自己回帰アプローチを使用する

1. 背景

GPTなどの大規模モデルの登場後、言語モデルのTransformer +自己回帰モデリング法、つまり次のトークンを予測する事前トレーニングタスクは大きな成功を収めました。では、この自己回帰モデリング手法は、視覚モデルでより良い結果を達成できるのでしょうか?今回紹介する記事は、Appleが最近公開したTransformer + 自己回帰事前学習に基づく視覚モデルのトレーニングに関する記事です。この作業について詳しく紹介します。

写真

論文タイトル: 大規模自己回帰画像モデルのスケーラブルな事前トレーニング

ダウンロードアドレス: https://arxiv.org/pdf/2401.08541v1.pdf

オープンソースコード: https://github.com/apple/ml-aim

2. モデル構造

全体的なモデル構造はTransformerを採用し、最適化ターゲットは言語モデルにおける次のトークン予測を採用しています。モデル構造に関しては、主に 3 つの変更点があります。まず、ViTの双方向アテンションと比較して、この記事ではGPTの一方向アテンションを使用します。つまり、各位置の要素は前の要素とのアテンションのみを計算できます。

写真

次に、プレフィックスが導入されます。Transformer の前に、複数のプレフィックス トークンが入力に追加されます。これらのトークンは双方向アテンションを使用します。この主な機能は、事前トレーニングと下流のアプリケーション間の一貫性を確保することです。下流では、ViT に似た双方向アテンション方式が使用されます。事前トレーニングでは、プレフィックス双方向アテンションを追加して、モデルを下流のタスクに適応させます。

写真

最後に、モデルの最終出力の MLP レイヤーが最適化されます。元の事前トレーニング方法では、通常、MLP レイヤーを破棄し、下流の微調整で新しい MLP を使用して、事前トレーニングされた MLP が事前トレーニング タスクに偏りすぎて下流のタスクのパフォーマンスが低下するのを防ぎます。この論文では、各パッチに独立した MLP を使用しています。画像の全体的な表現については、各パッチが一般的なプーリングではなく注意力で融合されることが保証されており、これにより、下流のタスクでの事前トレーニング済み MLP ヘッドの使いやすさが向上します。

最適化の目的に関して、この論文では 2 つの方法を試しました。1 つ目は、パッチ ピクセルを直接フィッティングし、予測に MSE を使用する方法です。 2 つ目は、画像パッチを事前にトークン化し、分類タスクに変換して、クロスエントロピー損失を使用することです。しかし、記事中のその後のアブレーション実験では、2 番目の方法でもモデルを正常にトレーニングできるものの、その効果はピクセル粒度 MSE に基づく方法ほど良くないことがわかりました。

3. 実験結果

記事の実験部分では、この自己回帰ベースの画像モデルの効果と、各部分が効果に与える影響を詳細に分析します。

まず、トレーニングが進むにつれて、下流の画像分類タスクはますます効果的になり、この事前トレーニング方法が確かに優れた画像表現情報を学習できることを示しています。

写真

トレーニング データに関して言えば、小さなデータ セットでトレーニングすると、オーバーフィッティングが発生します。DFN-2B を使用する場合、初期検証セットの損失は大きくなりますが、明らかなオーバーフィッティングの問題はありません。

写真

この記事では、モデルの各モジュールの設計方法に関する詳細なアブレーション実験分析も行っています。

写真

最終的な効果比較では、AIM は非常に良好な結果を達成し、この自己回帰事前トレーニング方法が画像にも適用可能であり、大規模な画像モデルのその後の事前トレーニングの主要な方法になる可能性があることも検証されました。

写真