ニューラル ネットワークの BP アルゴリズムが発明されるまでになぜ長い時間がかかったのでしょうか?
|
ローズブラットは 1950 年代にパーセプトロンを提案し、多層ニューラル ネットワークの BP アルゴリズムが普及したのはそれからほぼ 30 年後のことでした。 実際にはこれは微積分の連鎖律を単純に応用しただけなのに、なぜこんなに時間がかかるのでしょうか? Bengio 氏は Quora で次のように返信しました。 一見明白なアイデアの多くは、後から振り返って初めて明白になります。 サイバネティクスでは、チェーン反転は多層非線形システムを解くために非常に早い段階で適用されました。 しかし、1980 年代初頭には、ニューラル ネットワークの出力は離散的であったため、勾配ベースの方法を使用して最適化することは不可能でした。 当時、ルメルハート氏とヒントン氏は、出力が滑らか (シグモイド) であれば、連鎖律を使用して多層ニューラル ネットワークをトレーニングできると考えていました。 したがって、これは単なる連鎖律の問題ではなく、離散出力の枠組みから抜け出すことに関するものです。このような概念の変更は簡単ではありません。 |
<<: 「アルゴリズム経済」はどのような新しいモデルやトレンドを生み出すのでしょうか?
>>: 2015年9月のプログラミング言語ランキング: 新しいインデックスアルゴリズムにより急上昇が解消
推薦する
ChatGPTを使用して安全ヘルメット着用検出プロジェクトを完全に自動的に開発する
こんにちは、みんな。今日は、ChatGPT を使用して安全ヘルメットの着用検出を開発する方法を紹介し...
ノーベル賞を予約しますか? DeepMind の創設者が「ノーベル賞」ラスカー賞を受賞、AlphaFold が「科学のための AI」のベンチマークに
9月21日、生理学・医学分野の最高賞であるラスカー賞が発表されました！ラスカー賞には、基礎医学研究賞...
AAAI 2024 フェロー発表、清華大学の朱軍教授が選出
AAAI（人工知能振興協会）は、人工知能分野で国際的に最も権威のある学術団体の一つです。フェローは協...
効果的な機械学習研究者の6つの習慣
優れた機械学習研究者になるために必要な資質は何でしょうか? 強力なコーディングスキルでしょうか? そ...
ACL'23表彰式は大成功でした！前例のない75件の論文がリストされ、その半分は中国語でした。
ACL 2023 受賞論文が発表されました!合計75件の論文が提出され、6件の賞が選ばれました。優...
Huawei Ascend Academy テクノロジー オープン デーが成都にやって来て、インテリジェンスの新たな高みを生み出しました。
[51CTO.com オリジナル記事] Huawei が成都の開発者に特典を提供！ 2020年7月...
人工知能がビジネスに進出
人工知能は、時間の経過とともに改良を続け、世界中の人々から賞賛されてきた、人間の設計の驚異です。 T...
大規模言語モデルはウォール街に勝てるか？株式選択における AI の可能性を明らかにする
金融分野における人工知能（AI）の応用は、特に株式市場の分析と予測において、幅広い注目と議論を集めて...
AI に役立つ 7 つの優れたオープンソース ツール
ビジネスニーズを予測するには、AI を活用し、研究開発を新たなレベルに引き上げる必要があります。この...
2020年エンタープライズ機械学習市場レポート：7つの調査結果
[[285635]] [51CTO.com クイック翻訳] Algorithmia が最近発表したレ...
実際のシナリオにおける知識グラフに基づく大規模モデル幻覚の原因、評価、緩和戦略の探究
大規模モデルの実用化の問題に関しては、現在業界では大規模モデルを使用して質疑応答を行うのが一般的です...
人工知能（AI）と機械学習（ML）の最新動向
[[422288]]人工知能 (AI) には、分析モデルの構築を自動化する機械学習 (ML) を含む...
AI時代のITリーダーに必要な6つのソフトスキル
人工知能は組織内で大きな変化をもたらしますが、変化とともに、AI が仕事を奪ってしまうのではないかと...