これは本当に天才的ですね！パーセプトロンを組み合わせると、ニューラルネットワークになるのではないでしょうか。

[[354709]]

みなさんこんにちは。今日もディープラーニングについてお話していきましょう。

クラスメートの何人かは、ディープラーニングモデルを長い間更新していないと言っていました。更新したくないわけではなく、技術的なトピックを一度に書き終えたいというのが主な理由です。しかし、ほとんどの視聴者は純粋に技術的な記事を読みたくないので、私は通常、それらを 2 番目に置きます。しかし、クラスメイトから更新を促されたので、要望に応えて記事を更新します。

ニューラルネットワークとパーセプトロンの違い

その時の記事に写真を掲載しました。この写真は多層パーセプトロンの写真です。見てみてください。下の写真です。

この図は一見すると問題ないように見えますが、よく考えてみると、少し奇妙に思えます。私たちがこれまで見てきたニューラルネットワークの図もこのようなものだったようです。この場合、それらの違いは何でしょうか。

表面上、最も明らかな違いは名前です。これはニューラルネットワークの図です。まだ 3 つの層があることがわかりましたが、各層の名前は入力層、中間層 (隠れ層)、出力層です。通常、入力層と出力層は別々に名前が付けられ、その間の層は隠し層または中間層と呼ばれます。もちろん、パーセプトロンのように、層に番号で名前を付けることもできます。たとえば、下の図の入力層はレイヤー 0、中間層はレイヤー 1、最後の出力層はレイヤー 2 と呼ばれます。

通常、出力層は有効なニューラルネットワークとは見なされないため、下の図のネットワークは 3 層ニューラルネットワークではなく 2 層ニューラルネットワークと呼ばれます。

名前の違いに加えて、もう 1 つの重要な違いは活性化関数です。これを明確にするために、まずニューラルネットワークにおける信号伝達について見てみましょう。

信号伝送

下の図は、私が偶然見つけたニューラルネットワークダイアグラムです。最初の入力ノードが 1 に設定されていることがわかります。これはオフセットの導入を容易にするために行われますが、一般的に絵を描くときには意図的にオフセットを描くことはありません。ニューラルネットワーク内で信号がどのように伝達されるかを確認するために、次の図を例に挙げてみましょう。

まだ終わりではありません。ニューラルネットワークの各層には、対応する活性化関数があります。一般的に言えば、ネットワークの同じ層内の活性化関数は同じであり、これを h と呼びます。したがって、このノードの最終出力は、先ほど取得したものではなく、になります。

活性化関数についてはすでによくご存知でしょう。これまでにも何度も紹介してきました。一般的に使用されているのは、おそらく Relu、Sigmoid、tanh、softmax、およびいくつかの派生型です。一般的に、出力層の前に Relu を使用します。モデルが分類モデルの場合は、最後に Sigmoid または softmax を使用します。回帰モデルの場合は、活性化関数は使用されません。

シグモイドについてはすでによく知られています。LR モデルを単層ニューラルネットワークと見なすと、シグモイドはその活性化関数になります。シグモイドは、バイナリ分類シナリオの単一の出力ノードに適用されます。出力値が 0.5 より大きい場合は true、それ以外の場合は false になります。いくつかの確率予測シナリオでは、出力値はイベントが発生する確率を表すと考えることもできます。

これに対応するのが、多重分類問題で使用されるソフトマックス関数です。使用するノードの数は 1 ではなく、k です。ここで、k はマルチ分類シナリオにおけるカテゴリの数を表します。 k=3 を例にとり、次の図を見てみましょう。

グラフには 3 つのノードがあります。各ノードの式は次のように記述できます。

実際の計算方法は、最後に重みを計算する点を除いて、Sigmoid と同じです。最後に、これらの k 個のノードのうち最大のものを最終的な分類結果として選択します。

コードの実装

最後に、ニューラルネットワークのコードを書いてみます。ニューラルネットワークのトレーニング方法はまだ導入していないため、予測部分のみを実装できます。バックプロパゲーションアルゴリズムを紹介した後、モデルのトレーニングプロセスについて説明します。

バックプロパゲーションを無視すれば、アルゴリズム全体のコードは実は非常に単純で、Python 構文に精通している人なら誰でも理解できます。

 numpyをnpとしてインポートする
 
定義 relu(x):
 np.where (x > 0, x, 0 )を返す
 
 
シグモイド(x)を定義します:
 1 / (1 + np.exp(-x))を返します。 
 
 
クラスNeuralNetwork():
    __init__(self)を定義します。
        自己パラメータ = {}
        自己.params[ 'W1' ] = np.random.rand(2, 3)
        self.params[ 'b1' ] = np.random.rand(1, 3)
        自己.params[ 'W2' ] = np.random.rand(3, 2)
        self.params[ 'b2' ] = np.random.rand(1, 2)
        自己.params[ 'W3' ] = np.random.rand(2, 1)
        self.params[ 'b3' ] = np.random.rand(1, 1) 
        
    def forward (self, x):
        a1 = np.dot(x, self.params[ 'W1' ]) + self.params[ 'b1' ]
        z1 = relu(a1) 
         
        a2 = np.dot(z1, self.params[ 'W2' ]) + self.params[ 'b2' ]
        z2 = relu(a2) 
         
        a3 = np.dot(z2, self.params[ 'W3' ]) + self.params[ 'b3' ]
 np.where (sigmoid(a3) > 0.5, 1, 0 )を返します。 
     
     
 __name__ == "__main__"の場合:
    nn = ニューラルネットワーク()
    print( nn.forward (np.array([3, 2])))