マイクロソフト、言語モデルの推論機能を向上させるXOT方式を発表

マイクロソフトは11月15日、Google DeepMindのAlphaZeroにヒントを得て、コンパクトなニューラルネットワークを使用してAIモデルの推論機能を強化する「Everything of Thought」（XOT）と呼ばれる手法を発表した。

Microsoft、ジョージア工科大学、華東師範大学は協力して、強化学習とモンテカルロ木探索 (MCTS) 機能を統合し、複雑な意思決定環境における問題解決の有効性をさらに向上させるアルゴリズムを開発しました。

IT ホーム 注記: Microsoft の研究チームは、XOT メソッドにより言語モデルを未知の問題に拡張でき、Game of 24、8-Puzzle、Pocket Cube の厳密なテストで明らかな改善が見られると述べました。結果は、XOT が他の方法よりも大幅に優れており、他の方法では解決できない問題も解決できることを示しています。ただし、XOT は 100% の信頼性を達成するわけではありません。

XOT フレームワークには、次の主要なステップが含まれます。

• 事前トレーニング フェーズ: MCTS モジュールは、効果的なマインド サーチに関するドメイン知識を学習するために、特定のタスクで事前トレーニングされます。軽量なポリシーと価値ネットワークが検索をガイドします。アイデア検索: 推論中に、事前トレーニング済みの MCTS モジュールはポリシー/値ネットワークを使用して、LLM のアイデアの軌跡を効率的に探索および生成します。
• 思考の修正: LLM は MCTS の思考を確認し、エラーを特定します。修正されたアイデアは、追加の MCTS シミュレーションを通じて生成されます。
• LLM 推論: LLM 問題解決の最終プロンプトに対して修正されたアイデアを提供します。

IT Homeでは、論文[PDF]のアドレスをここに添付していますので、興味のあるユーザーは詳しく読むことができます。