GPT-4 の計算能力不足の問題をどうやって解決するか?小学生のように扱えば、結果は電卓と同じくらい正確であることが保証されます

GPT-4 の計算能力不足の問題をどうやって解決するか?小学生のように扱えば、結果は電卓と同じくらい正確であることが保証されます

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載しています。転載の際は出典元にご連絡ください。

大規模言語モデル数学的能力を突破するにはどうすればよいでしょうか?

数学の学部生が次のことを発見しました。

実際、小学1年生のように「指で数える」ことを教えるだけで、彼らはすぐに数学のエキスパートになれます。

写真

たとえば、「34756918247632 + 7934619867453210082」のような大きな数の加算は、GPT-4 のような強力なモデルであっても、大規模なモデルでは解決できません。

しかし、彼の言う通りにすれば、電卓で数字を入力した場合とまったく同じ結果になることが保証されます

具体的にはどうすればいいのでしょうか?

GPT-4を小学生のように教える

上記の加算問題を例に挙げてみましょう。GPT-4 が正しく解くためには、2 つの例を与える必要があります。

しかし、非常に単純なもので十分であり、重要なのは計算プロセスを詳細に説明することです。

最初の例は次のとおりです。

379+64 を計算するように教える必要があります。

具体的には、まず GPT-4 に 2 つの加数の桁数と各桁の数を整理させます。

次に、最初の加数が 2 番目の加数より 1 桁多い場合はゼロを追加するように指示します。

どこで補う?桁数の少ない加数を加算します。つまり、64 は 064 になります。

これが完了したら、最初の手順をもう一度繰り返します。

次に、繰り上がりやつながりなどを表す変数や初期値をいくつか設定し、上位の桁から1つずつ数字を加算していき、各桁の結果を結合すると、最終的な答えが得られます。

下のプロンプトワードテンプレートからわかるように、非常に詳細に書き、相手を小学生のように扱う必要があります。

(追記: 2 番目の数字 7+6+c を計算するときに著者がミスを犯したことがわかります。これは 14 に等しくなるはずで、間違った最終結果につながります。しかし、これはまったく影響しません。アイデアが正しければ、モデルはそれを実現できます!)

2 番目の例でも手順は同じです。主な違いは、今回は 0 を追加する必要がないことです。他の人を小学生として扱う場合は、それぞれの状況を明確に説明する必要があります。

上記の 2 つの例をテンプレートとして GPT-4 に入力したら、あとは多くの指示を与えるだけです。

これは追加演算を行うために使用する必要があるテンプレートであり、同じキーワードを使用する必要があります。
テンプレートに書かれているとおりに従うことを忘れないでください。スペースが必要な場所にはスペースが必要です。テンプレートでは大文字は使用されないので、大文字は使用しないでください。
計算の前後に説明や余分な言葉を追加しないでください。上記のテンプレートに従うことが唯一のタスクです。
最後に、回答をプレーンテキストとしてフォーマットします。

次にこう言います:

ここで、2 つの新しいオペランドを提供し、テンプレートを使用して答えを計算する必要があります。わかりますか?

(英語のプロンプトは次のとおりです:これは加算を行うために使用する必要があるテンプレートです。同じキーワードを使用する必要があります。上記のどこにでも空白を使用する必要があります。
大文字はテンプレートに存在しないため、使用しないでください。計算の前後に説明やつなぎの言葉を追加しないでください。あなたの唯一の仕事は、上記のテンプレートに従うことです。
回答をプレーンテキストとしてフォーマットします。
新しいオペランドのセットを提供するので、テンプレートを使用して答えを計算する必要があります。わかりましたか?

このとき、GPT-4 は次のように伝えます: 了解しました。提供されたテンプレートに厳密に従って、2 つの数値の加算を計算します。

次に、「34756918247632」と「7934619867453210082」と入力します。各数字の間には必ずスペースを入れてください(理由は後で説明します)

3 4 7 5 6 9 1 8 2 4 7 6 3 2 + 7 9 3 4 6 1 9 8 6 7 4 5 3 2 1 0 0 8 2
GPT-4 は次の一連の計算のコピーと貼り付けを開始できます。

最後に正解をお伝えします:

0 7 9 3 4 6 5 4 6 2 4 3 7 1 4 5 7 7 1 4。

まあ、計算機と同じ結果です:

また、モデルをランダムに選択してテスト、計算した結果は 376900+12678922 (13055822 に等しい) でした。

それは正しくないことが判明しました:

上記の方法を適用すると、次のようになります。

つまり、大規模言語モデルは依然として非常に賢いのです。教え方さえわかっていれば、その数学的計算能力はまったく問題になりません。

なぜ間違っているのでしょうか?

きっと誰もが疑問に思うでしょうが、なぜこのような数学の問題を正しく解くためには小学生のように教えられなければならないのでしょうか?

著者は、主な理由が2つあると分析しました

1 つ、モデルがテキスト入力を処理するときにトークン化を実行し、数字がトークンに結合されることです。

たとえば、今日計算した問題では、GPT-4 が実際に見ているのは次のようになります。

そのため、GPT-4 が数字を分割せず、正しく計算できるように、各数字をスペースで区切る必要があります。

もちろん、上記の方法で教えずにただスペースを追加するだけでも間違いです。

これが 2 番目の理由につながります。つまり、計算を実行するためのコンテキストを学習するための十分なスペースが与えられていないということです

GPT-4 は自己回帰言語モデルです。つまり、特定の時間ステップでの出力は、以前のすべての出力に条件付けられます。小学生が質問を解くのと同じように、モデルが任意の位置の数字を段階的に取得できる方法が必要です。

そのため、上記のように「追跡可能」となるようにテンプレートを設定する必要があります。

最後に、著者らは、言語モデルはこれまで構築してきたどのタイプのソフトウェアとも異なると述べています。したがって、特別な忍耐力が必要になります。

では、上記の 2 つの理由を理解した後、小学生に教えるような上記の一連のプロンプト ワード操作をよりよく理解できるでしょうか。

著者について

この方法の著者は、ウォータールー大学の数学学部生である Karthik Balaji 氏です。

彼の個人ホームページによると、彼は大規模言語モデルに非常に興味を持っており、最近は生成モデル、特に拡散型を研究し始めたとのことです。彼はすでにいくつかの小さな成果を出しているので、興味があればチェックしてみてください。

写真

<<:  ChatGPTは個人のカスタマイズをサポートします!長いプロンプトに別れを告げ、まずは自己紹介をしましょう

>>:  スタンフォード大学学長が学術上の不正行為で辞任!一流ジャーナルの論文3本が撤回に直面し、著者は「学生を信頼しすぎた」と回答

ブログ    
ブログ    
ブログ    

推薦する

サイバー攻撃が自動運転車に勝てない理由

マルウェア、ランサムウェア、ウイルス、サービス拒否攻撃など、これらの脅威は回復が困難なため、企業を窮...

...

...

...

一貫性のあるハッシュを使用して重要な負荷を分散する

大規模なネットワーク サービス (コンテンツ ホスティングなど) を実行するには、各サーバーが過負荷...

OpenAI の Whisper モデルを使用して音声をテキストに変換する

翻訳者 |ブガッティレビュー | Chonglou図1. OpenAI Whisperモデルの動作原...

俳優の顔の交換、AIデート、モザイク除去…2020年のAI界の注目トピックトップ10を振り返る

[[373822]] 2020年が終わりを迎えました。今年、人工知能(AI)分野は浮き沈みに富み、常...

...

米国NHTSAの新規制:レベル2以上の自動運転に関わる事故は報告が必要

米国道路交通安全局(NHTSA)は、SAEレベル2の先進運転支援システム(ADAS)またはSAEレベ...

IDC: 2024年までにIoTシステムの約20%が人工知能をサポートすると予想

1月20日、IDCが最近発表した「IDC FutureScape:世界の人工知能(AI)と自動化市場...

暗号化アルゴリズムの革命的な進歩、データ保護の問題を解決するか?

[[423975]]独自のクラウドクラスターを構築するこれらは 50 ドル未満の小型コンピュータで...

IBMは5億行のコードデータセットをオープンソース化したが、最も人気のあるプログラミング言語はPythonではない

Google サービスには 20 億行のコードが含まれており、自動車システムには 1 億行のコードが...

機械学習を超簡単にする 8 つのオープンソース ツール

機械学習開発者には、プロジェクトで使用できるツールを含め、多くの機械学習リソースが必ず必要になります...

人工知能技術の登場によるデジタル変革をどう理解すればよいのでしょうか?

デジタル化は、意思決定レベルから産業レベルまでの変化において中心的な課題になりつつあります。科学技術...

データマイニングアルゴリズムと実際の応用例

[[149735]]武漢に比べると北京の秋の訪れはとても早く、9月の夕方には少し肌寒さを感じるように...