LLM にとってベクター データベースが重要なのはなぜですか?

翻訳者 |ブガッティ

レビュー | Chonglou

Twitter 、 LinkedIn 、またはニュースフィードのタイムラインをスクロールすると、チャットボット、 LLM 、 GPTに関する言及を目にすることがあります。毎週新しいLLMがリリースされるため、多くの人がLLMについて話しています。

現在、私たちはAI 革命の真っ只中にあり、多くの新しいアプリケーションがベクトル埋め込みに依存しています。ベクトル データベースについて、そしてそれがLLMにとってなぜ重要であるかについてさらに学びましょう。

ベクターデータベースの定義

まずベクトル埋め込みを定義しましょう。ベクトル埋め込みは意味情報を伝達するデータ表現であり、AI システムがデータをよりよく理解し、長期記憶を可能にするのに役立ちます。何か新しいことを学ぶ場合と同様に、最も重要なのは主題を理解して覚えることです。

LLMなどのAI モデルによって生成された埋め込みには多数の機能が含まれており、その表現は管理不能になります。埋め込みはデータのさまざまな次元を表し、 AIモデルがさまざまな関係、パターン、隠れた構造を理解するのに役立ちます。

従来のスカラーベースのデータベースを使用したベクトル埋め込みは、データの規模と複雑さを処理または維持できないため、課題があります。ベクトル埋め込みの複雑さを考えると、特殊なデータベースが必要になることは想像に難くありません。ここでベクター データベースが役に立ちます。

ベクターデータベースは、ベクター埋め込みの独自の構造に最適化されたストレージとクエリ機能を提供します。値を比較し、相互の類似点を見つけることで、簡単な検索、高いパフォーマンス、スケーラビリティ、およびデータ取得を実現します。

それは素晴らしいと思いませんか？ベクトル埋め込みの複雑な構造を処理できる方法があります。しかし、ベクターデータベースの実装は困難です。

つい最近まで、ベクター データベースは、それを開発するだけでなく管理する能力も備えたテクノロジー大手企業によってのみ使用されていました。ベクター データベースは高価なので、高いパフォーマンスを実現するには、適切に調整されていることを確認することが重要です。

ベクターデータベースはどのように機能しますか?

ベクトル埋め込みとベクトルデータベースについてある程度理解できたので、それがどのように機能するかを見てみましょう。

ChatGPTのような LLM を処理する簡単な例から始めましょう。モデルには大量のデータと大量のコンテンツが含まれており、 ChatGPTアプリケーションが実現します。

これらの手順を見てみましょう。

1. ユーザーは、アプリケーションにクエリを入力します。

2.次に、クエリが埋め込みモデルに挿入され、インデックスを作成する内容に基づいてベクトル埋め込みが作成されます。

3.ベクトル埋め込みはベクトルデータベースに移動されます。

4.ベクター データベースは出力を生成し、クエリ結果としてユーザーに返します。

ユーザーがクエリを継続すると、同じ埋め込みモデルを経由して埋め込みが作成され、そのデータベース内の同様のベクトル埋め込みがクエリされます。ベクトル埋め込み間の類似性は、埋め込みが作成された元のコンテンツに基づいています。

ベクターデータベースでどのように機能するかについて詳しく知りたいですか?詳しくはこちらをご覧ください。

従来のデータベースでは、文字列や数値などが行と列に格納されます。従来のデータベースからクエリを実行する場合、クエリに一致する行をクエリします。ただし、ベクトル データベースは、たとえば文字列ではなく、ベクトルを扱います。ベクターデータベースでは類似度メトリックも使用されており、クエリに最も類似したベクターを見つけるのに役立ちます。

ベクトルデータベースは、近似最近傍(ANN )検索を容易にするさまざまなアルゴリズムで構成されています。これはハッシュ、グラフベースの検索、または量子化を介して行われ、これらはパイプラインに組み立てられ、照会されたベクトルの近傍を取得します。

結果はクエリにどれだけ近いかによって異なるため、考慮される主な要素は精度と速度です。クエリ出力が遅い場合、結果はより正確になります。

ベクター データベース クエリは主に3 つの段階を経ます。

1.索引

上記の例で述べたように、ベクトル埋め込みがベクトルデータベースに格納されると、さまざまなアルゴリズムを使用してベクトル埋め込みをデータ構造にマッピングし、検索を高速化します。

2.クエリ

検索が完了すると、ベクターデータベースはクエリされたベクターをインデックス付きベクターと比較し、類似度メトリックを適用して最も近い近傍を検索します。

3. 後処理

使用するベクター データベースに応じて、ベクター データベースは最終的な最近傍を後処理して、クエリの最終出力を生成します。さらに、将来の参照用に最も近いものを再ランク付けすることも可能です。

結論

人工知能が進歩し、毎週新しいシステムがリリースされるにつれて、ベクトルデータベースの開発が重要な役割を果たします。ベクター データベースにより、企業は正確な類似性検索をより効率的に実行できるようになり、ユーザーに優れた高速な出力を提供できるようになります。

次回ChatGPT または Google Bard にクエリを入力するときは、クエリの結果を出力するために実行されるプロセスについて考えてみてください。

元のタイトル:ベクターデータベースとは何か、そしてなぜ LLM にとって重要なのか?著者: Nisha Arya