2023 年の ICML カンファレンスが開催されます! Google DeepMindの最新研究を簡単に見てみよう

2023 年の国際機械学習会議 (ICML) はハワイのホノルルで開催されます。

写真

ICML は、国際機械学習学会 (IMLS) が主催する機械学習に関するトップクラスの年次国際会議の 1 つです。

ICMLは1980年に設立され、毎年6月中旬から下旬に開催されます。今年の日程は7月23日日曜日から7月29日土曜日までです。

この会議は、コンピュータービジョン、統計、データサイエンスからロボット工学に至るまでのさまざまな分野に焦点を当て、人工知能 (AI) コミュニティを結集して新しいアイデア、ツール、データセットを共有し、この分野を前進させるためのつながりを構築することを目的としています。

今年は第40回ICML会議であり、1,827件の論文が採択されました。 Google DeepMind の研究者は今年、ICML で 80 本以上の新しい論文を発表しました。

このカンファレンスでの Google のレポートの主なハイライトは次のとおりです。

社会的目的を持つ機械学習、タンパク質構造を予測する AlphaFold モデル、具体化言語モデル PaLM-E、テキストからビデオを生成する Phenaki モデルなど。

写真

これらに加えて、Google はカンファレンスにおいて、シミュレーション世界における人工知能への貢献、強化学習の将来の研究、人工知能における最先端の課題についても取り上げる予定です。

次に、Google がこれら 3 つの分野でどのような研究を行ったかを見てみましょう。

シミュレーション世界における人工知能

ChatGPT など、現在見られる読み取り、書き込み、作成が可能な AI は、大規模なデータセットでトレーニングされたモデルに基づいています。

これらの基本モデルは、教師あり学習と自己教師あり学習において優れた適応性とスケーラビリティを実証していますが、これまでのところ、これらの成功は強化学習 (RL) に完全には応用されていません。

つまり、基本的なモデルを基礎的な動作ロジックとして使用する人工知能では、複雑な現実を理解し、現実世界のタスクを処理することが困難になります。

この研究で、Google の研究者は、大規模な RL エージェントのトレーニングにより、オープンエンドの新しい具体的な現実世界の問題に人間と同じくらい迅速に適応できる一般的なコンテキスト学習アルゴリズム (AdA) が生成されることを実証しました。

写真

AdA は、人間と同じようにシミュレートされた環境で新しい問題を解決するために適応できる人工知能エージェントです。

オブジェクトを斬新な方法で組み合わせたり、目に見えない地形を移動したり、他のプレイヤーと協力したりするなど、難しいタスクに取り組むことができます。

さらに、Google の別の研究では、視覚言語モデル (VLM) を使用してインテリジェント エージェントのトレーニングを支援する方法が示されました。

簡単なプロンプトを介して VLM に監視信号の制御を与えることで、エージェントは 3D レンダリングされた環境内の新しいオブジェクトの名前 (例: 平面) または特徴 (例: 色) に基づいて、そのオブジェクトと対話するように学習します。

写真

これらの研究は、より大規模なオープンドメインでより優れたパフォーマンスを発揮できる、より汎用的で適応性の高い強化学習エージェントの基礎を築くことになります。

強化学習の今後の研究

責任ある信頼できる AI を開発するには、これらのシステムの中核となる目標を理解する必要があります。

強化学習では、システムの中核となる目標を定義する方法の 1 つは報酬を通じて定義することです。

リチャード・サットンが提唱した報酬仮説によれば、すべての目標は期待される累積報酬を最大化するものとして考えることができるとされています。

Google の研究者は、彼らの仮説が成り立つ正確な条件を説明し、強化学習問題の一般的な形態における報酬が獲得できる（または獲得できない）目標の種類を明らかにしています。

写真

さらに、Google は研究の中で、人工知能システムを導入する際には、モデルの現実世界への適応性を考慮する必要があるとも提案しました。

そこで Google は、AI ツールは安全性と効率性によって制限されることが多いため、制約内で強化学習アルゴリズムをより適切にトレーニングする方法を検討しました。

写真

また、ポーカーなどの非対称情報ゲームを通じて、不確実性の下での複雑な長期戦略をモデルに教える方法も探ります。

写真

カンファレンスでは、Google は、他のプレイヤーの位置や可能なアクションを知らなくても、モデルが 2 人のプレイヤーによるゲームに勝つ方法を実演します。

会議が始まったら、Google がどんなトリックを思いつくのか楽しみに待ちましょう。

人工知能の最先端技術

既存の人工知能は、基本的に一連のパッケージ化されたデータセットに基づいてトレーニングされます。最近人気の大規模言語モデル（LLM）と同様に、言語記号間のつながりを学習して予測することはできますが、言語が指す現実世界を真に理解することは困難です。

一方、人間は周囲の世界を簡単に学び、適応し、理解することができます。

人間のように推論できる高度な AI システムを開発することで、日常生活で使用できる AI を作成し、新たな課題に対処することが可能になります。

AIの適応性の分野では、Googleはニューラルネットワークの可塑性（AIが新しい情報に基づいて予測や推論を迅速に変更できるようにする）と、その損失の原因を研究しています。

写真

別の論文では、自然言語予測など、統計が自発的に変化するデータソースでのメタトレーニングニューラルネットワークを研究しています。

この論文は、現在のシーケンス予測モデルとトレーニングメカニズムが、大規模言語モデルで発生するコンテキスト学習の種類をどの程度説明できるかという疑問に答えています。

写真

さらに、Google DeepMind の研究者は、長期的な推論タスクでより優れたパフォーマンスを発揮する新しいリカレント ニューラル ネットワーク (RNN) ファミリーを提案しました。

写真

研究者らは、標準 RNN に改良を加え、再帰の線形化と対角化、より優れたパラメータ化と初期化の使用、フォワードパスの適切な正規化の確保などを行いました。

リカレントニューラルネットワーク

最後に、AI の強化学習研究における「分位点クレジット割り当て」において、Google の研究者はトレーニングにおける運とスキルを切り離す方法を提案しました。

アクション、結果、外部要因間の関係をより明確にすることで、AI は複雑な現実世界の環境をよりよく理解できるようになります。

写真

上記で取り上げた研究以外にも、数多くの研究があります...

写真

写真

写真

80 枚を超える論文は本当に多すぎます!編集者が撮りきれなかった部分もありますが…気になる方はぜひご自身でご覧ください！

添付URL: https://deepmind.events/events/icml-2023/resources#

途中で、これらの研究は本当に素晴らしいものであり、人々に多くの知識を与えてくれます。