マイクロソフトは「間違いから学ぶ」モデルトレーニング方法を発表し、「人間の学習プロセスを模倣し、AIの推論能力を向上させる」ことができると主張している。

IT Homeは11月7日、マイクロソフトリサーチアジアが北京大学、西安交通大学などの大学と共同で「Learning from Mistake（LeMA）」と呼ばれるAIトレーニング方法を提案し、人間の知識学習のプロセスを模倣することでAIの推論能力を向上させることができると主張していると報じた。

現在、OpenAI GPT-4 や Google aLM-2 などの大規模言語モデルは、自然言語処理 (NLP) タスクや思考連鎖 (CoT) 推論の数学的問題タスクで優れたパフォーマンスを発揮しています。

しかし、LLaMA-2やBaichuan-2などの大規模なオープンソースモデルは、関連する問題に対処するために強化される必要があります。これらの大規模なオープンソース言語モデルの思考連鎖推論能力を向上させるために、研究チームはLeMA法を提案しました。このアプローチは主に「間違いから学ぶ」ことで人間の学習プロセスを模倣し、モデルの推論能力を向上させます。

▲画像出典：関連論文

IT Homeは、研究者の手法は「誤った回答」と「修正された正解」を含むデータのペアを使用して、関連するモデルを微調整することだったことを発見した。関連データを取得するために、研究者は 5 つの異なる大規模言語モデル (LLaMA および GPT シリーズを含む) の誤った回答と推論プロセスを収集し、GPT-4 を「修正子」として使用して修正された回答を提供しました。

修正後の正解には、元の推論プロセスにおける誤った部分、元の推論プロセスにおける誤りの理由、そして正しい答えを得るために元の方法をどのように修正するかという 3 種類の情報が含まれていることが報告されています。

研究者らは、GSM8KとMATHを使用して、5つの大規模なオープンソースモデルでLeMaトレーニング方法の有効性をテストしました。その結果、改良されたLLaMA-2-70Bを例にとると、GSM8Kでの精度は83.5%と81.4%、MATHでは25.0%と23.6%でした。

研究者らは現在、LeMA の関連情報を GitHub で公開しています。興味のある方は、こちらをクリックしてご覧ください。