Google Brain の最新研究: AutoML メソッドが Dropout モードを自動的に学習

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

ディープ ニューラル ネットワークでは、過剰適合の問題が発生することが多く、ドロップアウトや重み減衰などの正規化手法のサポートが必要になります。

最近の研究では、ドロップアウトによって「切り取られた」ニューロンの構造を利用すると、ランダムな置換よりも良い結果が得られることがわかっています。

問題は、実際のアプリケーションでは、さまざまな問題に対して構造的手法を使用すると、ドロップアウト モードの手動設計と調整が必要になり、一般化能力が不十分になることです。

では、CNN や Transformer などのディープニューラルネットワークの Dropout モードを自動的に学習する方法を設計することは可能でしょうか?

現在、Google の専門家である Quoc V. Le 氏のチームが、 AutoDropoutと呼ばれる方法を提案しています。

関連論文がAAAI 2021に選出されました。

ドロップアウトパターンの設計プロセスの自動化

AutoDropoutの主な目的は、特定のシナリオの Dropout モードの設計を自動化することです。

研究者らは、構造化されたドロップアウトパターンのための新しい検索空間を設計しました。この検索空間には、多くの既存の Dropout モデルが含まれます。

この方法がどのように実装されるかを確認するために、CNN を例に挙げてみましょう。

CNN におけるドロップアウトパターン検索空間

CNN では、検索空間の基本パターンは連続した長方形です。長方形をタイル状に並べると、ドロップアウト パターンが生成されます。

長方形を定義するハイパーパラメータは高さと幅ですが、タイルを定義するハイパーパラメータはストライドと繰り返し回数です。

長方形をタイリングすることに加えて、空間の中心の周りの回転と各空間次元に沿ったせん断という 2 つの幾何学的変換を検索空間に導入する必要があります。

研究者らはドロップアウト パターンを導き出した後、それをバッチ正規化層の出力に適用しました。研究者らの経験では、それをネットワークの他の場所に適用すると、検索プロセス中にトレーニングが不安定になることが多かったそうです。

CNN に残余接続がある場合、コントローラは残余ブランチにドロップアウト モードを適用するかどうかをさらに決定します。

コントローラモデルと探索アルゴリズム

AutoDropout のコントローラーは強化学習によってトレーニングされます。

コントローラーは実際にはトランスフォーマー ネットワークです。ネットワークは、ドロップアウト モードの構成を記述するトークンを生成します。

下の図に示すように、CNN の各レイヤーでは、ドロップアウト モードを作成するために 8 つのトークンが必要です。

しかし、このような検索アルゴリズムのトレーニングには長い時間がかかる可能性があるため、研究者らは並列処理の面でも改良を加えました。

Transformer のドロップアウト モード検索空間

このアプローチは Transformer にも適用されます。

CNN との最大の違いは、検索空間内のドロップアウト パターンを、クエリ、キー、値、ソフトマックス、出力投影、残差など、Transformer レイヤーの複数のサブレイヤーに柔軟に適用できることです。

そのため、研究者は各サブレイヤーに独立したドロップアウト モードを適用しました。

実験結果

AutoDropout の効果を検証するために、研究者は CNN モデルと Transformer モデルにそれぞれ AutoDropout を適用しました。

CNN の場合、主に教師あり画像分類タスクと半教師あり画像分類タスクで使用されます。

Transformer の場合、主な考慮事項は言語モデルと機械翻訳です。

CIFAR-10 と ImageNet では、AutoDropout が SOTA モデルの結果を効果的に改善し、手動介入を必要とする DropBlock などの方法よりも優れていることがわかります。

Variational Dropout メソッドを使用してトレーニングされた Transformer-XL モデルと比較して、AutoDropout はより優れたパフォーマンスをもたらします。

しかし、研究者らは、AutoDropout の欠点は検索コストが非常に高いことだとも述べています。

著者について

この記事には 2 人の著者がいます。

Hieu Pham 氏は、Google Brain とカーネギーメロン大学が共同で指導する博士課程の学生です。スタンフォード大学で学士号を取得しました。

もう一人の著者はQuoc V. Leです。彼は、Google Brain の創設者の一人であり、Google の AutoML プロジェクトの立役者の一人である Andrew Ng の弟子です。

ポータル

論文の宛先:
https://arxiv.org/abs/2101.01761