GenAIがより良い回答を提供するためのヒント

GenAI は、ユーザーが独自の方法でデータをクエリし、ニーズに合わせた回答を受け取ることができるインターフェースとして大きな可能性を秘めています。たとえば、クエリアシスタントとして、GenAI ツールは、シンプルな質疑応答形式を使用して、顧客が広範な製品ナレッジベースをより適切にナビゲートできるように支援できます。

しかし、GenAI を使用してデータに関する質問に答える前に、まず質問の内容を評価することが重要です。

これは、Miso.ai の CEO 兼共同創設者である Lucky Gunasekara 氏が、現在 GenAI ツールを開発しているチームに与えたアドバイスです。

Miso.ai の製品である Smart Answers がどのように洞察力を発揮するかに興味があったので、私は Gunasekara 氏に、ユーザーの質問を理解して回答する Miso.ai のアプローチについてさらに詳しく話してもらいました。

大規模言語モデルは「実は私たちが考えていたよりもはるかに単純です」とグナセカラ氏は言う。例えば、強い意見を問われた場合、大規模言語モデルは、既存のデータがその意見が間違っていることを示唆しているとしても、その意見を裏付ける慎重に選択されたデータを探す可能性が高い。したがって、「プロジェクト X はなぜ失敗したのか」と尋ねられた場合、大規模な言語モデルは、たとえプロジェクトが成功したとしても、プロジェクトが失敗した理由の長いリストを吐き出す可能性があります。これは、一般向けアプリケーションに期待される動作ではありません。

グナセカラ氏は、質問を評価することは、大規模な言語モデルを特定のデータ群に向け、そのデータのみに基づいて質問に答えるよう指示する、いわゆる RAG (検索拡張生成) アプリケーションで見落とされがちなステップであると指摘した。

このようなアプリケーションは通常、次の (少し簡略化された) セットアップパターンに従います。

すべてのデータが大きすぎて単一の大きな言語モデルクエリに収まらないため、既存のデータをチャンクに分割します。
各ブロックに対して、そのブロックのセマンティクスを数字の文字列として表すいわゆる埋め込みが生成され、保存され、データが変更されたときに必要に応じて更新されます。

次に各質問について:

埋め込みを生成します。
埋め込みベースの計算を使用して、質問に意味的に最も類似するテキストのチャンクを見つけます。
ユーザーの質問を大規模な言語モデルに入力し、最も関連性の高いチャンクのみに基づいて回答するように指示します。

ここで、グナセカラ氏のチームは異なるアプローチを採用し、関連情報を検索する前に質問を調べる手順を追加しました。「この質問を直接尋ねるのではなく、まずその仮定が正しいかどうかを尋ねます」と、Miso の CTO 兼共同創設者である Andy Hsieh 氏は説明します。

問題に固有の仮定を確認することに加えて、基本的な RAG パイプラインを強化して結果を改善する方法は他にもあります。 Gunasekara 氏は、特に実験段階から実稼働に適したソリューションに移行する場合は、基本を超えて取り組むことを推奨しています。

「『ベクターデータベースを構築し、RAG セットアップを実行すれば、すべてがすぐに機能する』ということに重点が置かれていますが、これは概念実証には最適です。しかし、意図しない結果をもたらさないエンタープライズグレードのサービスを実行する必要がある場合は、常にコンテキスト、コンテキスト、コンテキストが重要になります」と Gunasekara 氏は述べています。

これは、テキストの意味に加えて、最新性や人気度などの他のシグナルを使用することを意味する場合があります。グナセカラ氏は、ミソが料理ウェブサイトで取り組んでいる別のプロジェクトを挙げ、「パーティーで出すのに最適な焼き菓子は何か？」という質問を分析する。

実際に照会する必要がある信号を分離する必要がある、と彼は述べた。「作り置き」ケーキはすぐに出す必要がないことを意味し、「パーティー用」は数人以上に出す必要があることを意味します。また、大規模な言語モデルがどのレシピが「最高」であるかをどのように判断するかという問題もあります。これは、どのレシピのトラフィックが最も多いか、どのレシピの読者ランキングが最も高いか、またはどのレシピがエディターズチョイスを受賞したかなど、他のサイトデータを使用することを意味する可能性があります。これらはすべて、関連するテキストのチャンクを見つけて集約することとは別です。

「これをうまく行うためのコツの多くは、こうした文脈上のヒントにあります」とグナセカラ氏は言う。

ビッグ言語モデルの品質も重要な要素ですが、Miso は最高評価で最も高価な商用ビッグ言語モデルを使用する必要性を感じていません。代わりに、Miso は一部のクライアントプロジェクト向けに Llama 2 ベースのモデルを微調整しています。これは、コストを抑えるためだけでなく、一部のクライアントがデータを第三者に漏らしたくないため、また Gunasekara 氏が言うところの「オープンソースビッグ言語モデルに今、大きな勢いが生まれつつある」ためでもあります。

「オープンソースは本当に追いついています」とシェイ氏は付け加えた。「オープンソースモデルがGPT-4を上回る可能性は大いにあります。」

<<:

>>: