翻訳者 |ブガッティ レビュー | Chonglou Twitter 、 LinkedIn 、またはニュースフィードのタイムラインをスクロールすると、チャットボット、 LLM 、 GPTに関する言及を目にすることがあります。毎週新しいLLMがリリースされるため、多くの人がLLMについて話しています。 現在、私たちはAI 革命の真っ只中にあり、多くの新しいアプリケーションがベクトル埋め込みに依存しています。ベクトル データベースについて、そしてそれがLLMにとってなぜ重要であるかについてさらに学びましょう。 ベクターデータベースの定義まずベクトル埋め込みを定義しましょう。ベクトル埋め込みは意味情報を伝達するデータ表現であり、AI システムがデータをよりよく理解し、長期記憶を可能にするのに役立ちます。何か新しいことを学ぶ場合と同様に、最も重要なのは主題を理解して覚えることです。 LLMなどのAI モデルによって生成された埋め込みには多数の機能が含まれており、その表現は管理不能になります。埋め込みはデータのさまざまな次元を表し、 AIモデルがさまざまな関係、パターン、隠れた構造を理解するのに役立ちます。 従来のスカラーベースのデータベースを使用したベクトル埋め込みは、データの規模と複雑さを処理または維持できないため、課題があります。ベクトル埋め込みの複雑さを考えると、特殊なデータベースが必要になることは想像に難くありません。ここでベクター データベースが役に立ちます。 ベクターデータベースは、ベクター埋め込みの独自の構造に最適化されたストレージとクエリ機能を提供します。値を比較し、相互の類似点を見つけることで、簡単な検索、高いパフォーマンス、スケーラビリティ、およびデータ取得を実現します。 それは素晴らしいと思いませんか?ベクトル埋め込みの複雑な構造を処理できる方法があります。しかし、ベクターデータベースの実装は困難です。 つい最近まで、ベクター データベースは、それを開発するだけでなく管理する能力も備えたテクノロジー大手企業によってのみ使用されていました。ベクター データベースは高価なので、高いパフォーマンスを実現するには、適切に調整されていることを確認することが重要です。 ベクターデータベースはどのように機能しますか?ベクトル埋め込みとベクトルデータベースについてある程度理解できたので、それがどのように機能するかを見てみましょう。 ChatGPTのような LLM を処理する簡単な例から始めましょう。モデルには大量のデータと大量のコンテンツが含まれており、 ChatGPTアプリケーションが実現します。 これらの手順を見てみましょう。 1. ユーザーは、アプリケーションにクエリを入力します。 2.次に、クエリが埋め込みモデルに挿入され、インデックスを作成する内容に基づいてベクトル埋め込みが作成されます。 3.ベクトル埋め込みはベクトルデータベースに移動されます。 4.ベクター データベースは出力を生成し、クエリ結果としてユーザーに返します。 ユーザーがクエリを継続すると、同じ埋め込みモデルを経由して埋め込みが作成され、そのデータベース内の同様のベクトル埋め込みがクエリされます。ベクトル埋め込み間の類似性は、埋め込みが作成された元のコンテンツに基づいています。 ベクターデータベースでどのように機能するかについて詳しく知りたいですか?詳しくはこちらをご覧ください。 従来のデータベースでは、文字列や数値などが行と列に格納されます。従来のデータベースからクエリを実行する場合、クエリに一致する行をクエリします。ただし、ベクトル データベースは、たとえば文字列ではなく、ベクトルを扱います。ベクターデータベースでは類似度メトリックも使用されており、クエリに最も類似したベクターを見つけるのに役立ちます。 ベクトルデータベースは、近似最近傍(ANN )検索を容易にするさまざまなアルゴリズムで構成されています。これはハッシュ、グラフベースの検索、または量子化を介して行われ、これらはパイプラインに組み立てられ、照会されたベクトルの近傍を取得します。 結果はクエリにどれだけ近いかによって異なるため、考慮される主な要素は精度と速度です。クエリ出力が遅い場合、結果はより正確になります。 ベクター データベース クエリは主に3 つの段階を経ます。 1.索引上記の例で述べたように、ベクトル埋め込みがベクトルデータベースに格納されると、さまざまなアルゴリズムを使用してベクトル埋め込みをデータ構造にマッピングし、検索を高速化します。 2.クエリ検索が完了すると、ベクターデータベースはクエリされたベクターをインデックス付きベクターと比較し、類似度メトリックを適用して最も近い近傍を検索します。 3. 後処理使用するベクター データベースに応じて、ベクター データベースは最終的な最近傍を後処理して、クエリの最終出力を生成します。さらに、将来の参照用に最も近いものを再ランク付けすることも可能です。 結論人工知能が進歩し、毎週新しいシステムがリリースされるにつれて、ベクトルデータベースの開発が重要な役割を果たします。ベクター データベースにより、企業は正確な類似性検索をより効率的に実行できるようになり、ユーザーに優れた高速な出力を提供できるようになります。 次回ChatGPT または Google Bard にクエリを入力するときは、クエリの結果を出力するために実行されるプロセスについて考えてみてください。 元のタイトル:ベクターデータベースとは何か、そしてなぜ LLM にとって重要なのか?著者: Nisha Arya |
>>: 中国初の風力タービン出力曲線AIモデルが発表され、業界のギャップを埋める
人工知能の長年の目標は、これまで人間のみが実行していたタスクを機械が実行できるようにすることです。し...
さて、一年で最も暑い時期、真夏が正式に到来しました。今年の猛暑は7月11日から8月19日までの40日...
[51CTO.com からのオリジナル記事] 人類が初めてプログラム可能なコンピューターを思いついた...
人工知能 (AI) とモノのインターネット (IoT) の技術トレンドが融合し始めており、業界ではこ...
COVID-19パンデミックは、物流やスーパーマーケットなどの分野に問題と機会の両方をもたらしまし...
[[412196]]トランスフォーマーはさまざまな自然言語タスクに急速な進歩をもたらし、最近ではコ...
この記事では、AI フレームワークの高レベルなアーキテクチャを詳しく説明し、その内部コンポーネントと...
1,700人の研究者が、Nature による AI 研究論文の出版をボイコットする請願書に署名した。...
Google は最近、エンドツーエンドのニューラル オーディオ コーデックである SoundStre...
適応性は常に成功する組織の基礎となる原則です。過去 2 年間、世界は不確実性に直面してきましたが、こ...
エリアス・ファロン氏は、電子設計自動化技術の大手プロバイダーである Cadence Design S...
PLOS ONE に掲載された新しい研究では、機械学習を使用して 4,438 人の乳児の「気質」デー...
パートナーシップ、会社登録、資金調達なしで、独立系開発者の Li Xiaoyu は継続的に実践と反復...