ディープラーニングがなぜディープラーニングと呼ばれるのかご存知ですか？

これは単純なプッシュです。今日はディープラーニングという名前についてのみお話します。

ディープラーニングの復活は、ディープラーニング ネットワーク AlexNet が登場し、ImageNet コンテストで優勝した 2012 年にまで遡ります。2016 年には、Alpha Go の勝利により、ディープラーニングが私たち一人ひとりの注目を集めるようになりました。

しかし、今日非常に人気のあるディープラーニングは、学習方法という点では、実際には何十年も存在してきたニューラルネットワークと何ら変わりはありません。

では、一体なぜニューラル ネットワークが突然ディープラーニングになったのでしょうか?

そうですね、アンドリュー・ン氏の言葉を借りれば、ディープラーニングはニューラルネットワークのブランド変更です。少なくともこの名前はとても…深遠に聞こえます…

わぁ、ディープラーニングって、すごく奥が深そうですね……

それで、ディープラーニングの性質は変化したのでしょうか?

いいえ、変わるのはデータの量と計算能力だけです。

好むと好まざるとにかかわらず、現在複雑なタスクで人間レベルのパフォーマンスを達成している学習アルゴリズムは、1980 年代に簡単な例題を解くのに苦労していたアルゴリズムとほぼ同じです。

これは私が作り上げたものではなく、AIバイブルからのオリジナルの引用です。

本当に革命的なのは、これらのアルゴリズムをうまくトレーニングするために必要なリソース、つまりデータと計算能力が今や手に入ったことです。

しかし、深さは必ずしも良いのでしょうか?

不確か。

この問題は 2 つの側面から考えることができます。まず、ネットワークの深さを盲目的に増やすのは良くありません。深すぎるネットワークはトレーニングが困難です。深すぎるネットワークはトレーニングが困難です。深すぎるネットワークはトレーニングが困難です。

次に、ネットワークの深さと幅の両方が適切であることを確認する必要があります。その理由は非常に単純です。機械学習モデルの複雑さが増すほど、モデルの学習能力は強くなります（理論上）。変数を多く使うことで、より複雑な数式を表現できると言っているようなものです。この観点から見ると、ニューラル ネットワークが深くなるか広くなるかに関係なく、モデルの複雑さが増します。

これは非常に自然な考え方なので、ディープラーニングの発展の中で、これら 2 つのスタイルの古典的なネットワークが出現しました。

ResNet のように 152 層ある非常に深いものも 1 つあります。

Inception モジュールを使用する Inception ネットワーク ファミリのように、非常に太く (非常に幅広く) 見えるタイプもあります。

拡張されたインセプションモジュール

これらはすべて便利なネットワーク構造であり、両方の長所を組み合わせたネットワーク、Inception-ResNet もあります。

このように複雑に聞こえるネットワークの構造は、実は非常に大きいため、ここでは記載しません。

もちろん、このような深さと幅の拡張には、大量のコンピューティング リソースが必要です。

リソースが限られている場合、幅よりも深さの方が重要です。深さに関する真摯な問いが関係します。

Depth は何をしていますか?

学習！ネットワーク層が深くなるにつれて進む学習。このタイプの学習は、専門的には特徴学習または表現学習と呼ばれます。

ディープラーニング ネットワークには多くの層があります。ネットワークに画像を送信すると、まず最下層ではピクセルのようなものが見えるようです。層ごとに上に行くと、ネットワーク層はエッジ、輪郭、コンポーネントなどを「認識」します。ネットワークの深さによって、層ごとに抽象化できるようになります。したがって、深さのあるネットワークには学習能力があり、幅によって比較的簡単に計算能力が向上します。深さは、もちろん学習モデルの構造とより一致しています。

もちろん、これは単なる説明です。実際には、ニューラル ネットワークの層はかなり曖昧で、中間のネットワーク層の出力はまだ比較的抽象的な概念です。どのネットワーク層がどのような特徴を「見ている」のかを言うのは困難です。しかし全体的に見ると、上に行くにつれて、ネットワークは確かにオブジェクトを常に抽象化しています。これは幅では実現できない機能です。つまり、私たちは幅広い学習ではなく、深い学習を行っているのです。

当初、ディープラーニングは単なる素敵な名前だったかもしれませんが、今日、私たちが使用し、目にするネットワークは確かにますます深くなっています。 2012 年に注目を集めた AlexNet は 8 層しかありませんでしたが、2015 年には残差法によって非常に深いニューラル ネットワークをトレーニングできるようになりました。Resnet のネットワークの深さは直接 152 層に達しました。2016 年までに、ImageNet コンテストの優勝者は 1207 層のネットワークを使用しました。

ディープラーニングは非常に奥深いので、きっと納得していただけるでしょう。