ニューラル ネットワークの BP アルゴリズムが発明されるまでになぜ長い時間がかかったのでしょうか?
|
ローズブラットは 1950 年代にパーセプトロンを提案し、多層ニューラル ネットワークの BP アルゴリズムが普及したのはそれからほぼ 30 年後のことでした。 実際にはこれは微積分の連鎖律を単純に応用しただけなのに、なぜこんなに時間がかかるのでしょうか? Bengio 氏は Quora で次のように返信しました。 一見明白なアイデアの多くは、後から振り返って初めて明白になります。 サイバネティクスでは、チェーン反転は多層非線形システムを解くために非常に早い段階で適用されました。 しかし、1980 年代初頭には、ニューラル ネットワークの出力は離散的であったため、勾配ベースの方法を使用して最適化することは不可能でした。 当時、ルメルハート氏とヒントン氏は、出力が滑らか (シグモイド) であれば、連鎖律を使用して多層ニューラル ネットワークをトレーニングできると考えていました。 したがって、これは単なる連鎖律の問題ではなく、離散出力の枠組みから抜け出すことに関するものです。このような概念の変更は簡単ではありません。 |
<<: 「アルゴリズム経済」はどのような新しいモデルやトレンドを生み出すのでしょうか?
>>: 2015年9月のプログラミング言語ランキング: 新しいインデックスアルゴリズムにより急上昇が解消
推薦する
掃除機はいくらかかりますか？掃除ロボットの原理とハードウェア構成の詳細な説明
時代の発展とともに、掃除ロボットは多くの家庭にとって必需品となりました。掃除ロボットは、ベッドの下を...
4つの業界は人工知能がもたらす混乱に注意を払う必要がある
2020 年には、AI と機械学習のテクノロジーが新興産業に継続的な影響を与え、企業だけでなく消費者...
機械分野では人材不足が起きているのでしょうか？人工知能の時代はあなたが思っているよりもずっと早く来ています!
人工知能の時代が来るとよく言われます。20年後に私たちの子供たちが社会に出たとき、彼らはおそらくロボ...
深センの無人バスの試験走行がWeChatモーメンツで話題に！
この日が来ることは誰もが知っていた！しかし、こんなに早く来るとは誰も予想していませんでした! 201...
大規模言語モデルに基づくインテリジェントエージェントのモデリングとシミュレーション：レビューと展望
この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転...
遺伝的アルゴリズムとPython実装におけるいくつかの異なる選択演算子
序文この論文では、遺伝的アルゴリズムにおけるいくつかの選択戦略についてまとめています。比例ルーレット...
生成的敵対ネットワーク: AI におけるイノベーションの触媒
生成的敵対的ネットワーク (GAN) は、人工知能の分野で強力なツールとなり、イノベーションと研究の...
大規模なオープンソースデータセットが衝撃的なスキャンダルを暴露、人気AI企業が関与していた
執筆者 | Qingzhu制作：51CTO テクノロジースタック（WeChat ID：blog）ビッ...
人工知能は科学研究に革命を起こす力を持っている
人工知能 (AI) は、コンピューター サイエンス、数学、心理学、言語学などの分野が関わる学際的な分...
GPT-3オープンソースのPutianバージョン：事前学習済みモデルGPT Neoと同等の再現
[[389187]] GPT-3 はオープンソースですか? Eleuther AI のオープンソース...