GPT-3とAlphaFold 2は2020年に衝撃を与えました。2021年のAIの最大のハイライトは何でしょうか？

2020年はニュース速報に事欠かなかったが、人工知能は依然として包囲網を突破し、主流の視野に入り込んだ。

特に GPT-3 は、人工知能がまったく新しい方法で私たちの日常生活にさらに統合されていくことを示しています。

これらの進歩により、将来には多くの可能性が生まれ、将来を予測することが難しくなっています。しかし、技術の応用が成熟するにつれて、他の分野でのブレークスルーも予見できます。

2021 年に人工知能が飛躍的な進歩を遂げると期待される分野をいくつか紹介します。

GPT-3 と AlphaFold の背後にあるトランスフォーマー

2020 年の AI の最大の成果のうち 2 つは、ひそかに同じ基本構造を共有しています。 OpenAI の GPT-3 と DeepMind の AlphaFold はどちらも Transformer をベースにしています。

Transformer は 2017 年から存在していましたが、GPT-3 と Alphafold は、Transformer が以前の世代のシーケンス モデルよりも深く速く学習し、自然言語処理 (NLP) を超えた問題に優れているという並外れた能力を実証しました。

これは、リカレントニューラルネットワーク (RNN) や長短期記憶ネットワーク (LSTM) などの従来のシーケンスモデル構造とは異なります。

Transformer は、入力シーケンス全体を一度に処理することができ、入力のどの部分が他の部分と関連しているかを理解するための「アテンション」メカニズムを導入します。

このようにして、Transformer は、リカレント モデルが常に解決に苦労してきた「長期記憶」の問題を簡単に解決できます。

さらに、Transformer では並列トレーニングも可能で、近年登場した超並列プロセッサをより有効に活用できるため、トレーニング時間が大幅に短縮されます。

2021 年には、研究者が Transformer の新たな用途を発見し、Transformer が画期的な進歩をもたらすと確信していることは間違いありません。

2021年、OpenAIはGPT-3を改良し、テキストの説明から画像を生成できるDALL-Eをリリースしました。トランスフォーマーは2021年に大きな波を起こす準備ができています。

2021年のグラフニューラルネットワーク（GNN）開発の2つのハイライト

コンピュータ ネットワーク、ソーシャル ネットワーク、分子/タンパク質、輸送ルートなど、多くのドメインのデータは、自然にグラフ構造に適しています。

グラフニューラルネットワーク (GNN) により、グラフ構造化データにディープラーニングを適用できるようになり、今後 GNN がより大きな役割を果たすことが期待されます。

2021 年には、いくつかの主要分野で方法論の進歩が見られ、GNN の採用がさらに進むと予想されます。

「ダイナミックグラフィックス」は最初の重要な領域です。これまでの GNN 研究のほとんどは静的なグラフを想定していましたが、これらの状況はゆっくりと変化する可能性があります。たとえば、ソーシャル ネットワークでは、新しいメンバーが参加し、新しいノードと関係が変化します。

2020 年には、時間とともに変化するグラフを一連のスナップショットとしてモデル化する取り組みがいくつか見られましたが、2021 年には、この新しい研究の方向性が拡大し、動的グラフを連続的な時系列としてモデル化する方法に重点が置かれることになります。

このような継続的なモデリングにより、GNN は通常のトポロジ構造に加えて、グラフ内の時間構造を発見して学習できるようになります。

「メッセージングパラダイム」の改善も、実行可能なもう一つの進歩となるでしょう。メッセージ パッシングは、グラフ ニューラル ネットワークを実装するための一般的なアプローチであり、隣接するノードを接続するエッジに沿って情報を「渡す」ことによってノード情報を集約する方法です。

メッセージの受け渡しは直感的ですが、グラフ上で長距離にわたって情報を伝播させる必要がある効果を捉えるのが困難です。

2021 年には、どの情報伝播パスが最も関連しているかを反復的に学習したり、まったく新しいリレーショナル データ セットの因果グラフを学習したりするなど、このパラダイムの限界を押し広げていきたいと考えています。

2021年のAIアプリケーション

昨年は多くの見出しで AI の実用化における新たな進歩が取り上げられ、2021 年にはこれらの進歩が市場に投入されると予想されています。

GPT-3 の API がより実現可能になるにつれて、ますます多くのアプリケーションが自然言語理解に依存するようになることは注目に値します。 API を使用すると、ユーザーは独自の AI をトレーニングする手間をかけずに GPT-3 の機能にアクセスできます。

Microsoft は GPT-3 を使用するための独占ライセンスを取得しており、このテクノロジは Microsoft 製品に搭載される可能性があります。

2021 年には、他の応用分野も AI テクノロジーの恩恵を受けるでしょう。 AIと機械学習はすでにサイバーセキュリティの分野に参入していますが、2021年にはさらに大きな可能性を秘めています。

SolarWinds のハッキングで明らかになったように、一部の企業はすでにサイバー犯罪者や高度な悪意のあるランサムウェアの脅威に直面しています。

AI と行動分析は、新しい脅威を初期段階で特定する上で非常に重要になります。そこで2021年には、AIを分析し、ネットワーク防御システムを強化するための最新の行動を推進したいと考えています。

2021 年には、エッジ デバイス上でデフォルトで機械学習モデルを実行するアプリケーションが増えることも予想されます。

Google の Coral のような TPU を搭載したデバイスも、処理能力と量子化技術の進歩に伴い、より普及するでしょう。

写真は、Google Edge TPU を搭載した新しいマルチチップ モジュールである Carol アクセラレータ モジュールです。

エッジ AI により、参照用にデータをクラウドに送信する必要がなくなり、帯域幅が節約され、実行時間が短縮されます。これらはどちらも、ヘルスケアなどの分野では非常に重要です。

エッジ コンピューティング アプリケーションは、プライバシー、セキュリティ、低レイテンシが求められる分野や、高速インターネットにアクセスできない世界地域でも活用できます。

未来は予測不可能だが、将来は有望である

AI技術が実用分野でますます活用されるようになるにつれ、TransformerとGNNの進歩は、既存のAI技術とアルゴリズムのさらなる進化を促すものとなるでしょう。上記は、今年進展が見込まれるいくつかの分野を取り上げたものに過ぎませんが、進展が進むにつれて、さらに多くの驚きがあると信じています。

未来は予測不可能ですが、正しいか間違っているかは別として、2021 年は AI にとってエキサイティングな年になるでしょう。