5分でわかるReLU: 最も人気のある活性化関数

この記事は、公開アカウント「Reading the Core」（ID: AI_Discovery）から転載したものです。

ニューラル ネットワークとディープラーニングにおける活性化関数は、隠れたノードを刺激してより理想的な出力を生成する上で重要な役割を果たします。活性化関数の主な目的は、モデルに非線形特性を導入することです。

[[356462]]

人工ニューラル ネットワークでは、入力または入力セットが与えられると、ノードの活性化関数によってそのノードの出力が定義されます。標準的な集積回路は、入力に応じて「オン」または「オフ」に切り替えることができるアクティベーション機能のコントローラーと考えることができます。

図1: シグモイド; 図2: Tanh

シグモイドと tanh は、RELU が登場する以前に人気があった単調で微分可能な活性化関数です。ただし、時間が経つにつれてこれらの関数は飽和し、勾配が消失します。この問題を解決するためによく使用される別の活性化関数は、ReLU (Rerectified Linear Unit) です。

上の図では、青い線は ReLU を表し、緑の線は Softplus と呼ばれる ReLU のバリエーションを表しています。 ReLU の他のバリエーションには、LeakyReLU、ELU、SiLU などがあり、特定のタスクのパフォーマンスを向上させるために使用されます。

この論文ではReLUのみを考慮します。これは、ほとんどのディープラーニングタスクを実行するために、デフォルトで依然として最も一般的に使用される活性化関数であるためです。これらのバリアントの中には、特定の目的に使用するとわずかな利点があるものもあります。

2000 年に、Hahnloser らは、強力な生物学的動機と数学的証明を備えた活性化関数を動的ネットワークに初めて導入しました。この関数が、ロジスティック シグモイド (確率論とロジスティック回帰に触発されたもの) や、より実用的な tanh (双曲正接に相当) など、2011 年以前に広く使用されていた活性化関数よりも、より深いネットワークのトレーニングに適していることが示されたのはこれが初めてでした。

2017 年現在、整流器はディープ ニューラル ネットワークで最も人気のある活性化関数です。整流器を使用するユニットは、整流線形ユニット (ReLU) とも呼ばれます。

RELU の最大の問題は、点 0 で微分できないことです。研究者は、シグモイドや tanh などの微分可能な関数を使用する傾向があります。しかし、結局のところ、点 0 で微分可能であることは特殊なケースであるため、これまでのところ、ReLU は、計算量が非常に少ないにもかかわらず計算速度が非常に速い、ディープラーニングに最適な活性化関数です。

ReLU 活性化関数は 0 を除くすべての点で微分可能です。 0 より大きい値の場合、関数の最大値のみが考慮されます。次のように記述できます:

 f(x) = 最大値{0, z}

簡単に言えば、次のようにすることもできます。

入力> 0の場合: 入力を返す、それ以外の場合: 0 を返す

すべての負の数はデフォルトで 0 になり、正の数の最大値が考慮されます。

ニューラルネットワークのバックプロパゲーション計算では、ReLU を識別するのは比較的簡単です。唯一の仮定は、点 0 での導関数も 0 であるとみなされることです。これは通常問題にはならず、ほとんどの場合問題ありません。関数の導関数はその傾きの値です。負の値の傾きは 0.0、正の値の傾きは 1.0 になります。

ReLU 活性化関数の主な利点は次のとおりです。

• 畳み込み層とディープラーニング: 畳み込み層とディープラーニング モデルのトレーニングで最も一般的に使用される活性化関数です。
• 簡単な計算: 整流関数の実装は非常に簡単で、max() 関数のみが必要です。
• 表現のスパース性: 整流関数の重要な利点は、真のゼロ値を出力することです。
• 線形動作: ニューラル ネットワークの動作が線形または線形に近い場合、最適化が容易になります。

ただし、RELU ユニットを通過する際の主な問題は、すべての負の値がすぐに 0 になり、モデルがデータを適切に適合またはトレーニングする能力が低下することです。

つまり、ReLU 活性化関数への負の入力は、グラフ内の値を直ちに 0 に変更します。負の値が適切にマッピングされないため、結果のグラフに影響します。ただし、この問題は、LeakyReLU や前述の他の ReLU 活性化関数のさまざまなバリエーションを使用することで簡単に解決できます。

これは、Rectified Linear Unit と、ディープラーニング技術の時代におけるその重要性を理解するのに役立つ簡単な紹介です。結局のところ、他のすべての活性化関数よりも人気があるのには理由があるはずです。