2020 年の人工知能におけるトップ 10 の技術進歩

2020年が過ぎようとしています。今年、人工知能の分野ではどんな大きな進展がありましたか？以下で一緒に見てみましょう！

[[373266]]

進捗1: OpenAIが世界最大の事前学習済み言語モデルGPT-3をリリース

2020年5月、OpenAIはこれまでで世界最大の事前トレーニング済み言語モデルであるGPT-3をリリースしました。 GPT-3 には 1,750 億のパラメータがあり、トレーニングに使用されるデータの量は 45TB に達し、トレーニング コストは 1,200 万ドルを超えます。すべてのタスクにおいて、GPT-3 を適用するには勾配の更新や微調整は必要ありません。タスクを指定するためにモデル テキストを操作し、タスクを完了できるようにするために少数のデモンストレーションを表示するだけで済みます。 GPT-3 は、翻訳、質問応答、テキストの空欄補充タスク、および即時推論やドメイン適応を必要とする一部のタスクを含む多くの自然言語処理データセットで優れたパフォーマンスを発揮し、多くの実用的なタスクで人間のレベルに大幅に近づいています。

進歩2: DeepMindのAlphaFold2がタンパク質構造予測の問題を解決

2020年11月30日、Google DeepMindの人工知能システムAlphaFold2が第14回国際タンパク質構造予測コンテスト（CASP）で優勝し、評価の総合平均点は92.4点となった。その精度は、クライオ電子顕微鏡（CryoEM）、核磁気共鳴、X線結晶構造解析などの実験技術で解析したタンパク質の3D構造に匹敵する。歴史上初めて、タンパク質構造予測というタスクが基本的に実用に近いレベルにまで引き上げられた。ネイチャー誌は、AlphaFold2アルゴリズムが生物学界を50年間悩ませてきた「大きな問題」を解決したと評した。

進歩3: 深層ポテンシャル分子動力学研究がゴードン・ベル賞を受賞

2020年11月19日、米国アトランタで開催された国際スーパーコンピューティング会議SC20において、知源奨学生と北京応用物理・計算数学研究所の王漢氏らの「深層ポテンシャルエネルギー」チームが、国際高性能コンピューティング応用分野の最高賞である「ゴードン・ベル賞」を受賞した。 「ゴードン・ベル賞」は 1987 年に創設され、計算機協会 (ACM) によって授与されます。「コンピューティング応用におけるノーベル賞」として知られています。研究チームが研究する「分子動力学」は、分子モデリング、機械学習、高性能コンピューティング関連の手法を組み合わせたもので、第一原理精密分子動力学シミュレーションの規模を1億原子まで拡大できる。同時に、計算​​効率はこれまでの人間の最高レベルの1,000倍以上となり、人間がコンピューターを使って客観的な物理世界をシミュレーションする能力が大幅に向上した。米国計算機協会（ACM）は、ディープラーニングベースの分子動力学シミュレーションは、機械学習と大規模並列手法を通じて、より大規模な材料シミュレーションに精密な物理モデリングをもたらし、将来的には力学、化学、材料、生物学、さらには工学分野（高分子医薬品開発など）における実際的な問題の解決に大きな役割を果たすことが期待されるとコメントしました。

進歩4：DeepMindらはディープニューラルネットワークを使ってシュレーディンガー方程式を解き、量子化学の発展を促進している

シュレーディンガー方程式は量子力学の基本方程式です。70年以上も前から提唱されているにもかかわらず、シュレーディンガー方程式を正確に解く方法はほとんどありません。科学者たちは長年この問題を克服するために懸命に取り組んできました。 2019年、DeepMindはシュレーディンガー方程式を近似するフェルミニューラルネットワーク（FermiNet）を開発し、量子化学分野におけるディープラーニングの発展の基礎を築きました。2020年10月、DeepMindはFermiNetをオープンソース化し、関連論文が物理学誌「Physical Review Research」に掲載されました。 FermiNet は、ディープラーニングを使用して第一原理から原子および分子のエネルギーを計算する最初の試みです。精度と正確さの点で科学研究基準を満たしており、現在この分野で最も正確なニューラル ネットワーク モデルです。さらに、2020年9月には、ドイツのベルリン自由大学の科学者数名も、電子シュレーディンガー方程式のほぼ正確な解を得ることができる新しいディープラーニング波動関数シミュレーション法を提案しました。関連研究はNature Chemistryに掲載されました。この種の研究は、特定の科学的問題の解決におけるディープラーニングの応用だけでなく、生物学、化学、材料、医学などさまざまな分野の科学研究でディープラーニングが広く活用できるという大きな展望も示しています。

進歩5：米国のベイラー医科大学は、動的頭蓋内電気刺激を通じて高効率の「視覚皮質プリンター」機能を実現した

世界中の4,000万人以上の失明者にとって、視力を取り戻すことは達成不可能な夢です。 2020年5月、米国ベイラー医科大学の研究者らは、動的な頭蓋内電気刺激と埋め込み型微小電極アレイという新技術を用いて視覚補助装置を作製した。研究者らは、人間の一次視覚野にW、S、Zなどの文字の形を描き、視覚障害者がこれらの文字を「見る」ことに成功した。マスク氏が設立した脳コンピューターインターフェース企業、ニューラリンク社が発表した高帯域幅で完全に埋め込み可能な脳コンピューターインターフェースシステムと組み合わせることで、次世代の視覚補助装置は脳の一次視覚皮質にあるすべてのニューロンを正確に刺激し、視覚障害者がより複雑な情報を「見る」ことを可能にし、世界をはっきりと見るという夢を実現するのに役立つ可能性がある。

進歩6：清華大学は、脳のようなコンピューティングの完全性とコンピューティングシステムの階層の概念を初めて提案した。

2020年10月、清華大学の張有輝、李国奇、宋森らのチームである知源学院は、「脳型コンピューティングの完全性」という概念と、ソフトウェアとハ​​ードウェアを分離した脳型コンピューティングシステムの階層構造を初めて提案した。理論的な実証とプロトタイプ実験を通じて、そのようなシステムのハードウェアの完全性とコンパイルの実現可能性を証明し、脳型コンピューティングシステムの応用範囲を一般コンピューティングのサポートに拡大した。研究結果は2020年10月14日にネイチャー誌に掲載されました。ネイチャー誌は、「『完全性』という新しい概念が脳のようなコンピューティングを促進した」と評し、これは脳のようなシステムにおけるソフトウェアとハ​​ードウェアの密結合の問題に対する「画期的な解決策」であると述べた。

進歩7：北京大学は相変化メモリに基づく高速ニューラルネットワークトレーニングシステムを初めて実現した

2020年12月、楊宇超率いる知源研究員と北京大学のチームは、相変化メモリ（PCM）の伝導率ランダム性に基づく高速ニューラルネットワークトレーニングシステムを提案・実装し、人工ニューラルネットワークのトレーニングにおける膨大な時間とエネルギーコスト、およびオンチップ実装の難しさという問題を効果的に軽減しました。このシステムは、PCM 伝導率のランダム性を利用して伝播エラーのランダムな重みを自然に生成する直接フィードバック アルゴリズム (DFA) に基づいて改良されており、システムのハードウェア オーバーヘッドとトレーニング中の時間とエネルギーの消費を効果的に削減します。このシステムは、大規模な畳み込みニューラル ネットワークのトレーニング プロセスで優れたパフォーマンスを発揮し、端末プラットフォームでの人工ニューラル ネットワークの適用とオンチップ トレーニングの実装に新たな方向性をもたらします。

進歩8: MITは脳のようなニューロン19個だけを使って自動運転車を制御

マサチューセッツ工科大学（MIT）のコンピューター科学・人工知能研究所（CSAIL）、ウィーン工科大学、オーストリア工科大学の研究チームは、線虫（Caenorhabditis elegans）などの小動物の脳にヒントを得て、従来のディープニューラルネットワークでは数百万個のニューロンが必要となるのに対し、わずか19個の脳のようなニューロンを使って自動運転車を制御することに成功した。さらに、このニューラル ネットワークは模倣学習が可能であり、倉庫内の自動ロボットなどのアプリケーション シナリオに拡張できる可能性があります。この研究成果は、2020年10月13日にNature誌の子会社であるNature Machine Intelligenceに掲載されました。

進歩9: GoogleとFaceBookのチームが新しい教師なし表現学習アルゴリズムを提案

2020 年初頭、Google と Facebook はそれぞれ SimCLR と MoCo という 2 つのアルゴリズムを提案しました。どちらもラベルなしデータに基づいて画像データ表現を学習できます。両方のアルゴリズムの背後にあるフレームワークは対照学習です。対照学習の核となるトレーニング信号は、画像の「識別可能性」です。モデルは、2 つの入力が同じ画像の異なる視点からのものか、まったく異なる 2 つの画像からのものか区別する必要があります。このタスクでは人間による注釈付けは必要ないため、大量のラベルなしデータをトレーニングに使用できます。 Google と FaceBook の 2 つの研究では、多くのトレーニングの詳細を異なる方法で処理しましたが、どちらも、教師なし学習モデルが教師ありモデルの結果に近づいたり、それを達成したりできることを示しました。

進歩10：コーネル大学は、検索ランキングにおけるマシュー効果の問題を軽減するために、偏りのない公平なランキングモデルを提案した。

近年、検索の公平性と反事実学習に基づく検索・推奨モデルは、情報検索の分野で重要な研究方向となっている。関連する研究成果は、クリックデータの修正、モデルのオフライン評価などに広く活用されており、一部の技術は、アリババやファーウェイなどの企業の推奨・検索製品に実装されている。 2020年7月、コーネル大学のThorsten Joachims教授のチームは、公平かつ偏りのないランキング学習モデル「FairCo」を発表し、情報検索分野における最高峰の国際会議であるSIGIR 2020で最優秀論文賞を受賞した。本研究では、現在のソートモデルにおける位置バイアス、ソートの公平性、アイテム露出のマシュー効果といった共通の問題を分析し、反事実学習技術に基づく公平性制約を伴う関連性の不偏推定法を提案しました。また、ソート性能の向上も達成し、業界から幅広い注目と賞賛を受けました。