5分でわかるReLU: 最も人気のある活性化関数

この記事は、公開アカウント「Reading the Core」（ID: AI_Discovery）から転載したものです。

ニューラルネットワークとディープラーニングにおける活性化関数は、隠れたノードを刺激してより理想的な出力を生成する上で重要な役割を果たします。活性化関数の主な目的は、モデルに非線形特性を導入することです。

[[356462]]

人工ニューラルネットワークでは、入力または入力セットが与えられると、ノードの活性化関数によってそのノードの出力が定義されます。標準的な集積回路は、入力に応じて「オン」または「オフ」に切り替えることができるアクティベーション機能のコントローラーと考えることができます。

図1: シグモイド; 図2: Tanh

シグモイドと tanh は、RELU が登場する以前に人気があった単調で微分可能な活性化関数です。ただし、時間が経つにつれてこれらの関数は飽和し、勾配が消失します。この問題を解決するためによく使用される別の活性化関数は、ReLU (Rerectified Linear Unit) です。

上の図では、青い線は ReLU を表し、緑の線は Softplus と呼ばれる ReLU のバリエーションを表しています。 ReLU の他のバリエーションには、LeakyReLU、ELU、SiLU などがあり、特定のタスクのパフォーマンスを向上させるために使用されます。

この論文ではReLUのみを考慮します。これは、ほとんどのディープラーニングタスクを実行するために、デフォルトで依然として最も一般的に使用される活性化関数であるためです。これらのバリアントの中には、特定の目的に使用するとわずかな利点があるものもあります。

2000 年に、Hahnloser らは、強力な生物学的動機と数学的証明を備えた活性化関数を動的ネットワークに初めて導入しました。この関数が、ロジスティックシグモイド (確率論とロジスティック回帰に触発されたもの) や、より実用的な tanh (双曲正接に相当) など、2011 年以前に広く使用されていた活性化関数よりも、より深いネットワークのトレーニングに適していることが示されたのはこれが初めてでした。

2017 年現在、整流器はディープニューラルネットワークで最も人気のある活性化関数です。整流器を使用するユニットは、整流線形ユニット (ReLU) とも呼ばれます。

RELU の最大の問題は、点 0 で微分できないことです。研究者は、シグモイドや tanh などの微分可能な関数を使用する傾向があります。しかし、結局のところ、点 0 で微分可能であることは特殊なケースであるため、これまでのところ、ReLU は、計算量が非常に少ないにもかかわらず計算速度が非常に速い、ディープラーニングに最適な活性化関数です。

ReLU 活性化関数は 0 を除くすべての点で微分可能です。 0 より大きい値の場合、関数の最大値のみが考慮されます。次のように記述できます:

 f(x) = 最大値{0, z}

簡単に言えば、次のようにすることもできます。

入力> 0の場合: 入力を返す、それ以外の場合: 0 を返す

すべての負の数はデフォルトで 0 になり、正の数の最大値が考慮されます。

ニューラルネットワークのバックプロパゲーション計算では、ReLU を識別するのは比較的簡単です。唯一の仮定は、点 0 での導関数も 0 であるとみなされることです。これは通常問題にはならず、ほとんどの場合問題ありません。関数の導関数はその傾きの値です。負の値の傾きは 0.0、正の値の傾きは 1.0 になります。

ReLU 活性化関数の主な利点は次のとおりです。