2024年に生成AIを支援する3つのテクノロジー

ChatGPT の素晴らしい初年度が終わりに近づくにつれ、生成型人工知能 (genAI) と大規模言語モデル (LLM) が間違いなく注目の的になっています。しかし、それらはビジネスのゴールデンタイムに使用できる状態になっているでしょうか? ChatGPT が直面している課題はよく知られており、質問に答える際の精度を向上させる必要があります。 ChatGPT は GPT-4 と同じくらい洗練された人間の知識のコンピューター モデルに基づいていますが、自身の欠点についてはほとんど明らかにされておらず、これは AI 幻覚と呼ばれる現象です。さらに、ChatGPT は論理的推論に対応できないことが多いようです。もちろん、これは ChatGPT に推論機能がないためであり、ChatGPT は単なる高度なテキスト自動補完ツールです。

ユーザーにとってはこの事実を受け入れるのは難しいかもしれません。しかし、GPT-4 は印象的なシステムであり、模擬司法試験を受けて上位 10% にランクインすることができました。このような強力なツールを使用して企業のナレッジベースを探索することは間違いなく魅力的です。しかし、自信過剰になったり、愚かになりすぎたりしないようにする必要があります。 これらの問題に対処するために、信頼性の向上の可能性を秘めた 3 つの強力な新しいアプローチが登場しました。これらのアプローチはそれぞれ焦点が異なりますが、すべて LLM を「閉じた箱」として見るという基本的な考え方を中心に展開されます。言い換えれば、重要なのは LLM 自体を完成させることではなく (AI エンジニアは依然としてモデルを絶えず最適化していますが)、LLM をサポートするファクトチェック レイヤーを構築することです。このレイヤーは、誤った回答を除外し、システムに「常識」を注入するように設計されています。 彼らがどのようにしてこの目標を達成したかを一つずつ見ていきましょう。

ベクトル検索技術の機能

ベクトル検索テクノロジの広範な応用は、ベクトル専用に設計されたデータベースを含む多くのデータベースの特徴となっています。ベクターデータベースの誕生は、テキストや画像などの非構造化データに効率的なインデックスを作成し、高次元空間での正確な検索、詳細な検索、効率的なアクセスを可能にすることを目的としています。たとえば、 「リンゴ」という単語を検索すると、果物に関する情報が見つかるかもしれませんが、 「ベクトル空間」の周辺では、テクノロジー企業や音楽会社に関連した情報が出てくるかもしれません。

ベクトルは人工知能の分野で実用的な接着剤となっています。これらを活用することで、機械学習モデルのトレーニング用のデータベース キーワードとして扱うだけでなく、 LLMなどのコンポーネントでデータベースとデータ ポイントをより密接に関連付けることができました。この探索と発見の旅において、ベクトル検索機能は私たちの視野を広げ、データ間のつながりをより多彩なものにし、人工知能の開発に無限の活力を注入します。

検索強化生成

検索拡張生成 (RAG) は、大規模言語モデル (LLM) との対話にコンテキストを組み込む洗練されたアプローチとして、ますます注目を集めています。本質的に、RAG はデータベース システムを深く検索することで応答の関連性を高め、ローカル言語メカニズムからの応答が文脈的に関連性のあるものになるようにします。コンテキスト データには、タイムスタンプ、地理位置情報、参照、製品 ID などのメタデータを含めることができ、理論的には任意の複雑なデータベース クエリの結果を有効にすることもできます。

この幅広いコンテキスト情報は、システム全体がより正確で関連性の高い応答を出力するのに役立ちます。 RAG の本質は、データベースから特定のトピックに関する最も正確で最新の情報を取得し、モデルの応答を最適化することです。 GPT-4 の謎めいた内部の仕組みと比較して、RAG がビジネス LLM の基礎になれば、ビジネス ユーザーはシステムが提供する答えをどのように導き出すかについて、より透明性が高まります。 基礎となるデータベースがベクトル対応である場合、LLM 応答 (埋め込まれたベクトルを含む) を使用してデータベース内の関連データを取得できるため、応答の精度が向上します。

ナレッジグラフの力

ただし、最先端のベクターおよび RAG 強化検索機能の助けを借りても、ChatGPT はミッションクリティカルな領域ではまだ改善が必要です。データカタログ化方法として、ベクターは最も豊富なデータ モデルではありませんが、ナレッジ グラフはその独自の魅力により、RAG が好むデータベースとなっています。

相互接続された情報から編み出された意味的に豊かなネットワークであるナレッジ グラフは、インターネットが人間に対して行っているのと同様に、複数の次元を単一のデータ構造に統合し、強力な統合機能を発揮します。ナレッジ グラフのコンテンツは透明かつ編集されているため、その品質が保証され、情報化時代の確固たる基礎となっています。

ベクトルを使用して、LLM をナレッジ グラフに密接に接続することもできます。ベクトルがナレッジ グラフ内のノードに解決されると、グラフのトポロジが作用して、事実確認、近似検索、一般的なパターン マッチングが実行され、ユーザーに提供される情報が正確であることが保証されます。

ナレッジグラフの応用範囲はこれをはるかに超えています。ワシントン大学の人工知能研究者であるチェ・イェジン教授は、ビル・ゲイツ氏も賞賛する新しい概念を積極的に研究している。 Cui 教授と彼のチームは、質問をして全員一致の回答を除外することで LLM が知識を選択できるように、機械で書かれた知識ベースを構築しました。

チェ教授の研究では、LLMの論理的推論を検出し、高品質の推論と事実のみを含むナレッジグラフを構築することに優れた「Critic」と呼ばれるAIを使用しています。 ChatGPT（3.5）に、5枚のシャツを太陽の下で乾かすのにどれくらいの時間がかかるかを尋ねると、これは明らかに推論が不十分な例です。常識的には、洗濯物の量に関係なく乾燥時間は 1 時間であるべきですが、人工知能は複雑な数学でそれを解決しようとし、その方法が正しいことを証明するために誤った動作原理を実証することさえあります。

AIエンジニアたちは改善に努め続けていますが（ChatGPT 4も例外ではありません）、チェ教授のアプローチは依然として一般的な解決策の可能性を提供しています。このナレッジ グラフが LLM トレーニングをさらに支援することは特筆に値します。サイズが小さいにもかかわらず、精度が大幅に向上しています。

文脈の再構築

知識グラフは、RAG によって提供されるより豊富なコンテキストと構造によって、GPT システムの優れたパフォーマンスを向上させることがわかりました。さらに、ベクターベースとグラフベースのセマンティック検索 (ナレッジ グラフの同義語) を組み合わせることで、組織が一貫して高精度の結果を達成できることが証明されています。

ベクトル、RAG、ナレッジグラフのサポートにより、大規模言語モデルのアーキテクチャを活性化し、LLM の構築、トレーニング、微調整に専門知識を必要とせずに、企業に豊かな価値をもたらすことができます。これは、コンピューターのより基本的な「理解」（LLM）の助けを借りて、豊富な概念とコンテキストの理解を深めることができる包括的な戦略です。明らかに、企業はこれによって大きな利益を得ます。チャートの優れた点は、「データの主要な要素は何か」という核心的な質問に答えられることです。珍しいものは何ですか？さらに重要なのは、データパターンに基づいて、チャートで将来の傾向を予測できることです。

この事実に基づく能力は、LLM の生成要素を補完し、幅広い適用性を説得力を持って実証します。 2024 年を見据えると、LLM を重要なビジネス ツールに変えるこの強力な戦略が広く受け入れられるようになると私は予測しています。

ジム・ウェバー

出典 | 2024 年に生成 AI を支援する 3 つのテクノロジー | InfoWorld