ブースティング原理に基づく深層残差ニューラルネットワークのトレーニング

1. 背景

1.1 ブースティング

ブースティング[1]は、アンサンブルモデルを訓練するための古典的な手法です。その特定の実装の1つであるGBDTは、さまざまな問題で広く使用されています。 boostについては多くの記事で紹介されているので、ここでは詳しくは触れません。簡単に言えば、ブースティング法とは、一連の弱いクラスを特定の基準で 1 つずつトレーニングし、これらの弱いクラスに重み付けして強力な分類器を形成することです (図 1)。

1.2 残余ネットワーク

残差ネットワーク[2]は現在、画像分類などのタスクにおける最も先進的なモデルであり、音声認識などの分野にも応用されています。核となるのはスキップ接続またはショートカットです (図 2)。この構造により、勾配が後方に伝播しやすくなり、より深いネットワークをトレーニングすることが可能になります。

前回のブログ記事「アンサンブルモデルとしての残差ネットワーク」では、残差ネットワークを特別なアンサンブルモデルと見なす学者もいることがわかりました[3,4]。この論文の著者の 1 人は Robert Schapire 氏 (Microsoft Research に加わったことに気付きました) で、彼は AdaBoost の提案者 (Yoav Freund 氏と共著) です。 Ensemble の見解は、基本的に主流の見解の 1 つです。

2. トレーニング方法

2.1 フレームワーク

残余ネットワーク

つまり、これは線形分類器 (ロジスティック回帰) です。

仮説モジュール

ここで、$C$ は分類タスクのカテゴリの数です。

弱いモジュール分類器

ここで、$\alpha$ はスカラー、つまり $h$ は仮説の 2 つの隣接する層の線形結合です。 *** 層には下位層がないため、仮想下位層 $\alpha_0=0$ および $,o_0(x)=0$ を持つと見なすことができます。

残差ネットワークをアンサンブルとして表示する

残差ネットワークの最大出力を$F(x)$とし、これを上記の定義と組み合わせると、次のことが明らかになります。

ここでは分割と合計 (テレスコープ和) の手法が使用されているため、著者は提案されたアルゴリズムをテレスコープ和ブースティングと呼んでいます。

残差ネットワークをレベルごとに（残差ブロックごとに）トレーニングするだけで済みます。これは、一連の弱い分類アンサンブルをトレーニングすることと同じです。残差ネットワークの重みをトレーニングすることに加えて、各層の $\alpha$ と $W$ などの補助パラメータもトレーニングする必要があります (トレーニングが完了したら破棄できます)。

2.2 テレスコープサムブースティング

この記事の本文では、バイナリ分類問題を例として取り上げます。ここでは、マルチ分類問題に焦点を当てており、関連するアルゴリズムは付録に記載されています。記事に記載されている疑似コードの説明は非常に明確であり、以下に直接コピーされています。

このうち、$\gamma_t$はスカラー、$C_t$はm行C列（サンプル数×カテゴリ数）の行列、$C_t(i, j)$はi行j列目の要素を表します。

$st(x, l)$ は $s_t(x)$ の $l$ 番目の要素を表すことに注意してください (ここで使用されている記号は少し恣意的です :-)。また、$st(x) = \sum{\tau=1}^th\tau(x) = \alpha_t \cdot o_t(x) $ です。

アルゴリズム3と同様に、$f(g(x_i), l)$は$f(g(x_i))$の$l$番目の要素を表し、$g(x_i, y_i)$は$g(x_i)$の$i$番目の要素を表します。

明らかに、アルゴリズム4によって与えられた最小化問題はSGDを使用して最適化することも、数値的に解くこともできる（[1]のセクション4.3）。

3. 理論

理論的な部分は詳しく検討されませんでした。一般的に、著者らは、BoostResNet をブーストアルゴリズムとして保持する利点として、1) エラーがネットワークの深さ (つまり、弱い分類器の数) とともに指数関数的に減少すること、2) 過剰適合に対する耐性、モデルの複雑さがネットワークの深さとともに直線的に増加すること、を挙げています。詳細は論文をご覧ください。

4. 議論

BoostResNet はレイヤーごとのトレーニングを特徴としており、次のような一連の利点があります。

メモリ使用量を削減する (メモリ効率) ことで、大規模なディープネットワークをトレーニングできるようになります。 (現在、私たちは好奇心を満たすために、CIFAR で 1000 層の残差ネットワークをトレーニングすることしかできません)
計算量を削減し (計算効率を向上)、各レベルで浅いモデルのみをトレーニングします。
浅いモデルのみをトレーニングする必要があるため、最適化方法 (SGD 以外の方法) のオプションが増えます。
さらに、ネットワーク層の数は、トレーニング状況に応じて動的に決定できます。

4.2 いくつかの質問

この記事では、いわゆる e2eResNet を単に比較するのではなく、層ごとにトレーニングされた残差ネットワーク (前の層の重みを固定するかどうかに関係なく) とさらに比較する必要があります。
著者はセクション 1.1*** で、トレーニングフレームワークは ResNet に限定されず、ニューラルネットワークに限定されることもないと述べています。通常のディープラーニングモデルのトレーニングにどの程度効果があるかはわかりません。競合するレイヤーごとの事前トレーニングは、今では少し時代遅れのようです。