このアルゴリズムはアーキテクチャを自動的に最適化し、エンジニアがニューラルネットワークを設計するのに役立ちます。

最近、カナダのバンクーバーで NeurIPS 2019 が開催されました。テンセントAIラボからは合計14件の論文が選ばれ、国内企業の中でトップクラスにランクインしました。 Tencent AI LabがNeurIPSに参加するのは今回で4回目です。カンファレンスでは、Tencent AI Labの優れた論文を1つ選び、その解説を行いました。

この論文は、Tencent AI Lab が主導し、華南理工大学と共同で完成したもので、著者らは強化学習法を使用してニューラル ネットワーク構造コンバーターを学習しました。あらゆるニューラル ネットワーク構造を最適化し、よりコンパクトな構造に変換して、認識精度を高めることができます。以下は論文の詳細な解釈です。

NAT: 正確でコンパクトなアーキテクチャのためのニューラル アーキテクチャ トランスフォーマー

論文リンク: https://papers.nips.cc/paper/8362-nat-neural-architecture-transformer-for-accurate-and-compact-architectures.pdf

既存のディープ ニューラル ネットワーク構造は、手動で設計されるか、ニューラル ネットワーク アーキテクチャ検索 (NAS) 方式によって自動的に検索されます。ただし、これらのネットワーク構造には多くの冗長なコンピューティング操作が含まれる可能性があり、最適化の余地があります。ネットワーク構造を最適化するために、著者らはNeural Architecture Transformer (NAT) 方式を提案しました。この方法では、ネットワーク構造内の冗長な操作を、計算複雑度の低い計算操作に置き換えることができるため、追加のパラメータや計算複雑度が導入されることなく、パフォーマンスの向上を実現できます。

ニューラル ネットワークにおける計算操作は、S、N、O の 3 つのカテゴリに分類できます。このうち、S はスキップ接続、N は空の接続 (つまり、2 つのノード間に接続がない)、O はスキップ接続と空の接続以外の操作 (畳み込み、プーリング操作など) を表します。明らかに、これら 3 つの計算の複雑さの順序は、O>S>N です。ネットワーク構造の計算の複雑さを軽減するために、学習した NAT が元のネットワーク構造内の冗長な操作を、計算の複雑さがより少ない操作に置き換えることができることを期待しています。したがって、NAT は次の変換規則に従います: OàS、OàN、SàN。スキップ接続はモデルのパフォーマンスを向上させ、計算をほとんど必要としないことが多いため、NAT では NàS も許可されます。要約すると、NAT 変換スキームは次の図に示されています。

具体的には、分布p(·)に従う任意のネットワーク構造βに対して、 NATの目標は、上記の許可された操作の変更によってのみ得られる最適な構造αを見つけることです。 この最適化問題は次のように記述できます。

で：

1. R(α│β)=R(α,w_α)-R(β,w_β)、R(α,w_α)は、検証セットにおける最適パラメータw_αを持つネットワーク構造αのパフォーマンスを表します。
2. c(α)≤κは、結果として得られるモデルの計算コストに対する制約です。

しかし、最適な構造αを直接得ることは困難である。したがって、NAT は最初にポリシーを学習し、次に学習したポリシーから α をサンプリングします。つまり、α は従います。ポリシーπを学習するには、次の最適化問題を解きます。

この最適化問題を解決するために、著者は強化学習におけるポリシー勾配法を採用しました。このためには、適切な戦略関数を構築する必要があります。ネットワーク構造βは(X, A)（Aは隣接行列、Xはノードの特徴）で表すことができるため、ここでの著者の戦略π(α|β,θ)は2層グラフ畳み込みニューラルネットワーク（GCN）を使用します。

で、

さらに、この論文では、各構造のパラメータを最初からトレーニングすることを避けるために、パラメータ共有方式を採用しています。一般的に、最適化の考え方は次の 2 つのステップを繰り返し最適化することです。

1. ニューラルネットワークパラメータwを更新します（パラメータ共有の考え方を使用）。

2. θを更新します（最大エントロピーを使用して探索を促進します）。

ステップ 2 のプロセス図は次のとおりです。

NAT の有効性を検証するために、著者らは手動で設計された構造 ( VGG、ResNet、MobileNet など) と NAS によって取得された構造 (ENAS、DARTS、NAONet など) に NAT を適用しました。結果はそれぞれ表1と表2に示されています。

表 1. 人工的に設計されたネットワーク構造における NAT の最適化結果。

表2. NAS方式で得られたネットワーク構造におけるNATの最適化結果。

表 1 と表 2 から、ImageNet データセットでは、NAT によって最適化されたモデルが、同等かそれ以下の計算複雑度で、元のベースライン モデルよりも高い認識精度を達成していることがわかります。

以下に、NAT 最適化後のモデル構造を視覚化します。図 1 と 2 は、それぞれ人間と NAS によって設計されたネットワーク構造における NAT の最適化結果を示しています。

図 1. 手動で設計されたネットワーク構造における NAT の最適化結果。

図 1 に示すように、人工的に設計されたネットワーク構造では、NAT は追加のホップ接続を導入して認識精度を向上させます。

図 2. NAS によって設計されたネットワーク構造における NAT の最適化結果。

図 2 から、NAS 方式で得られたネットワーク構造では、NAT は冗長な操作をスキップ接続に置き換えたり、接続を直接削除したりすることで計算量を削減していることがわかります。

さらに、著者らはさまざまな戦略関数を比較し、GCN が従来の LSTM モデルよりも優れていることを発見しました。つまり、この研究は、自動機械学習、ネットワーク構造設計、ディープラーニングモデルのパフォーマンス最適化など、多くの実用的な機械学習の問題にとって重要な指針となる意義を持っています。