ニューラル ネットワークの BP アルゴリズムが発明されるまでになぜ長い時間がかかったのでしょうか?

ローズブラットは 1950 年代にパーセプトロンを提案し、多層ニューラル ネットワークの BP アルゴリズムが普及したのはそれからほぼ 30 年後のことでした。

実際にはこれは微積分の連鎖律を単純に応用しただけなのに、なぜこんなに時間がかかるのでしょうか?

Bengio 氏は Quora で次のように返信しました。

一見明白なアイデアの多くは、後から振り返って初めて明白になります。

サイバネティクスでは、チェーン反転は多層非線形システムを解くために非常に早い段階で適用されました。

しかし、1980 年代初頭には、ニューラル ネットワークの出力は離散的であったため、勾配ベースの方法を使用して最適化することは不可能でした。

当時、ルメルハート氏とヒントン氏は、出力が滑らか (シグモイド) であれば、連鎖律を使用して多層ニューラル ネットワークをトレーニングできると考えていました。

したがって、これは単なる連鎖律の問題ではなく、離散出力の枠組みから抜け出すことに関するものです。このような概念の変更は簡単ではありません。