モデルの再現が難しいのは必ずしも作者のせいではない。研究により、モデルの構造に問題があることが判明した。

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

同じニューラル ネットワークを異なる初期化条件で 2 回トレーニングして、同じ結果を得ることはできますか?

CVPR 2022の研究では、決定境界が使用されました  （決定境界）可視化法が答えを出す——

簡単なものもあれば、難しいものもあります。

たとえば、次の図から、研究者は ViT が ResNet よりも再現が難しいことを発見しました (2 回のトレーニング後、ViT の決定境界の差が大きいことは明らかです)。

研究者らはまた、モデルの再現性はモデル自体の幅広さと密接に関係していることも発見した。

同様に、彼らはこの方法を使用して、2019年の機械学習における最も重要な理論の1つである二重降下法を説明しました。   (二重降下)現象が視覚化され、非常に興味深い現象がいくつか発見されました。

彼らがどうやってそれをするのか見てみましょう。

より幅広いCNNモデル、より再現性の高い

ディープラーニングにおける決定境界は、エラーを最小限に抑えるために使用できます。

簡単に言えば、分類器は決定境界を通じて線の内側と外側の点を異なるカテゴリに分類します。

この研究では、著者らは CIFAR-10 トレーニング セットから 3 つの画像をランダムに選択し、3 つの異なるランダム初期化構成を使用して 7 つの異なるアーキテクチャでトレーニングし、それぞれの決定領域をマッピングしました。

このことから次のことがわかります。

左側の 3 つと右側の 4 つは非常に異なっており、異なるアーキテクチャ間の類似性は非常に低いことを意味します。

さらに詳しく見ると、左側の完全接続ネットワーク、ViT、MLP ミキサー間の決定境界グラフは多少異なりますが、右側の CNN モデルの決定境界グラフは非常に似ています。

CNN モデルでは、異なる乱数シード間で明らかな反復傾向も観察できます。これは、異なる初期化構成を持つモデルでも同じ結果が生成される可能性があることを示しています。

著者は、各アーキテクチャの再現性スコアを測定するために、より直感的なメトリックを設計しました。その結果は確かに私たちの直感を検証しました。

また、WideRN30 などのより広い CNN モデルでは、決定領域での再現性が高くなる傾向があることがわかりました。

また、残差接続構造を持つ CNN モデル (ResNet および DenseNet) の再現性スコアは、そのような接続を持たないモデル (VGG) の再現性スコアよりもわずかに高くなります。

さらに、オプティマイザーの選択も影響を与える可能性があります。

下の表では、SAM が SGD や Adam などの標準的なオプティマイザーよりも再現性の高い決定境界を生成することがわかります。

ただし、MLP Mixer および ViT の場合、SAM を使用してもモデルが最高のテスト精度を達成することが必ずしも保証されるわけではありません。

一部のネットユーザーは、モデル自体のデザインを改善することでこの現象を変えることができるのかと好奇心を表明した。

これに対して著者らは、 ViTの学習率を調整しようとしたが、結果は依然としてResNetよりも悪かったと述べた。

ResNet-18 の二重降下現象の可視化

二重降下法は、テスト/トレーニング エラーとモデル サイズの関係を説明する興味深い概念です。

これまでは、パラメータが少なすぎるモデルはアンダーフィッティングのため一般化能力が低く、パラメータが多すぎるモデルもオーバーフィッティングのため一般化能力が低いと一般に考えられていました。

そして、両者の関係はそれほど単純ではないことが証明されます。具体的には：

モデルが大きくなるにつれてエラーは最初は減少し、モデルが過剰適合すると再び増加しますが、モデルのサイズまたはトレーニング時間がさらに長くなると再び減少します。

著者は、決定境界法を引き続き使用して、ResNet-18 の二重降下現象を視覚化します。

幅パラメータ（k：1-64）を変更することでモデル容量を増加させました。

2 セットのモデルがトレーニングされました。1 つはラベル ノイズのないトレーニング セットを使用し、もう 1 つは20% のノイズのあるラベルを使用したトレーニング セットを使用しました。

最後に、2 番目のモデル グループでは、明らかな二重の衰退現象が観察されました。

著者はこう述べた。

線形モデルによって予測されるモデルの不安定性はニューラル ネットワークにも当てはまりますが、この不安定性は決定領域における多くの断片化として現れます。

言い換えれば、二重降下現象は、ノイズの多いラベルが存在する場合に決定領域が過度に断片化されることによって引き起こされます。

具体的には、 kが10に近づく/達すると  （つまり、補間しきい値）、この時点でモデルはトレーニング データの大部分に適合するため、決定領域は多くの小さな断片に分割され、「混沌と断片化」し、再現できなくなります。この時点で、モデルの分類機能は明らかに不安定です。

モデル幅が非常に狭い場合 (k=4) や非常に広い場合 (k=64)、決定領域の断片化が少なくなり、再現性が高くなります。

この結果をさらに証明するために、著者らは断片化スコアの計算方法を設計し、最終的に上図の観測結果を再度検証しました。

モデルの再現性スコアは次のとおりです。

また、パラメータ化不足およびパラメータ化過剰の場合には、全体的なトレーニング プロセスは非常に再現性が高いものの、補間しきい値で「失敗」が発生することがわかります。

興味深いことに、研究者たちは、ノイズの多いラベルがなくても、彼らが設計した定量化方法が再現性の微妙な低下を検出できるほど感度が高いことを発見しました (上の図の青い線)。

コードは現在オープンソースです。モデルが簡単に再現できるかどうか試してみませんか?

論文の宛先:

https://arxiv.org/abs/2203.08124

GitHub リンク:

https://github.com/somepago/dbVi