AI を活用した検索と推奨はどれほど強力でしょうか?

著者 | ユン・チャオ

ユーザーと情報の間には、検索か推奨のいずれかが存在します。百度の執行副社長である申竇氏は会議でこう述べた。「人々は検索にあまりにも慣れているため、それに伴う技術的変化を感じ取ることができない。」

今日、検索はブラウザ、WeChat、Alipay、そして私たちが毎日ログインして使用する他のアプリに至るまで、あらゆる場所で行われています。私たちは、必要な情報をフィルタリングするために検索を使用することに慣れています。「検索」はインターネット時代において基礎技術となり、ブロックチェーンやWeb3などの新しい技術のように私たちの目に「存在」を示す必要はなくなりました。

本当に大切なことは、私たちが当たり前だと思っていても気づかないことであることが多いのです。

情報量が爆発的に増加するビッグデータの時代において、従来の検索もインテリジェント検索の時代へと進化しました。 AI を搭載した検索エンジンにより、機械はテキストを読むだけでなく、音声や画像も理解できるようになります。 AI テクノロジーは、検索の継続的な進化に力を与えます。

では、検索をより高速に、より正確に、よりパーソナライズして、ユーザーのニーズをよりインテリジェントに理解するために、インターネットはどのような前向きで革新的な探求を行ってきたのでしょうか?以下にいくつか挙げます:

2016 年に Google は、バックプロパゲーション技術に基づく RankBrain アルゴリズムを導入しました。このアルゴリズムは、意味分析と語彙の関連付けに基づいて、ユーザーが人気のない検索結果をより速く検索できるように支援します。

Googleは2021年に、NLP分野で人気の事前学習済み言語モデルであるBERTをGoogle検索に導入します。長い段落のテキストを入力しても、検索エンジンはユーザーが検索したいものを取得できるようになります。 BERT の導入により、検索結果の少なくとも 10% が改善されました。

国内の検索においても、AIの検索への応用が本格化しています。

2015年、百度はマルチモーダル検索の概念を提唱し、テキスト検索から音声、視覚、動画などのマルチモーダル検索への進化を模索しました。テンセントは垂直検索の分野で努力を続け、ベクトル検索、異種コンピューティング、知識グラフ、動画理解などの技術がテンセントビデオとテンセントカンディアンにうまく適用されました。長年の技術蓄積を経て、美団検索はAI検索エンジンに生まれ変わり、商店、食品配達、コンテンツなどのコア検索シナリオにおけるビジネス指標のパフォーマンスを大幅に向上させました。

検索が正確なコンテンツを見つけるのに役立つのであれば、推奨はコンテンツを適切な人に正確にプッシュします。 2021年、Kuaishouと清華大学はグラフニューラルネットワークに基づく新しいシーケンス推奨フレームワークSURGEを共同で提案し、ユーザーの真の関心を捉える難しさを大幅に軽減しました。2021年、AlimamaのアルゴリズムエンジニアリングチームとAlimamaの外部広告アルゴリズムチームはElastic-Federated-Learning-Solutionプロジェクトをオープンソース化し、Alimamaのビジネスシナリオにフェデレーテッドラーニング理論を導入し、プライバシー保護とアルゴリズム理論の利点を活用しました。

AI技術の継続的な発展に伴い、大手インターネット企業は、ユーザーに密接に関係するハイテク分野であるインテリジェント検索と推奨への投資を増やしています。インテリジェントな検索と推奨に関連するより最先端のテクノロジーを事前に知りたい場合は、AISummit の「AI 駆動型検索と推奨」特別セッションがその答えを与えてくれると信じています。

1. 見逃せないサミット特別セッション

デジタル変革の波は、検索推奨技術に新たな進化をもたらしました。たとえば、従来の検索エンジンはAIエンジンにアップグレードされ、検索の焦点は一般的な検索から洗練された垂直検索に移行しました。推奨技術も、インテリジェントアルゴリズムとの深い統合の段階に入りました。

2022年8月6日～7日、AISummit世界人工知能技術会議は予定通り、会議公式サイトでのオンラインライブ放送の形で開催され、10万人が会議に参加すると予想されています。このカンファレンスは「ドライブ、イノベーション、デジタルインテリジェンス」をテーマにしており、主にテクノロジー企業の中級から上級の技術マネージャーや技術実務者、デジタル変革を計画中または進行中の企業マネージャー、人工知能分野に関心のある人々や起業家を対象としています。また、この会議では、著名なインターネットテクノロジー企業の技術エリート、デジタル変革期にある伝統的企業の管理者、最先端の学術機関の専門家や学者など約100名を招待し、人工知能の産業原動力について議論し、人工知能における最先端の革新技術を研究し、人工知能時代の「デジタルインテリジェンス」の波について語り合う予定です。

今回のAISummitカンファレンスでは、「AI駆動型検索と推奨」特別セッションにおいて、アリババ、テンセント、美団、快手などの業界の上級技術リーダーやアルゴリズム専門家が、ビジネス実践の観点から、インテリジェント検索と推奨の分野における将来的な考えを共有します。

2. トピックの詳細

トピック1:快手推薦における因果推論とグラフニューラルネットワークの応用

講演者:快手シニアレコメンデーションアルゴリズム専門家、ランキングモデルセンター長、牛ヤナン氏

コンテンツ：

推奨システムは、人々が情報をフィルタリングし、自分の興味を発見するのに役立つ主な方法になりつつあります。シーケンシャルレコメンデーションは、ユーザーの過去の行動を使用して次のインタラクションを予測することを目的としていますが、ユーザーの長期的な過去の行動には暗黙的でノイズの多い好みのシグナルが含まれており、ユーザーの実際の興味のモデリング効果が低下します。この課題に対処するため、Kuaishou と清華大学は共同で、グラフニューラルネットワークに基づくシーケンス推奨フレームワーク SURGE を提案しました。このモデルはシーケンス推奨の問題に対処するための新しい視点を提供し、オンラインでも大きなメリットをもたらしました。さらに、Kuaishouと中国人民大学は、モデルに依存しない因果学習フレームワークIV4Recを共同で提案し、推奨モデルの有効性を高めました。

この共有セッションでは、Kuaishouのシニア推奨アルゴリズム専門家であり、ランキングモデルセンターの責任者であるNiu Yanan氏が、因果推論とグラフニューラルネットワークアルゴリズムに関するKuaishouの最新の研究を紹介します。これらの研究はトップクラスの国際学術会議で発表されており、関連するアルゴリズムはKuaishouの実際の推奨シナリオにも実装されており、オンラインビジネスに大きな利益をもたらしています。

トピック2： Meituan検索ランキングプラットフォームの構築と実践

講演者:陳盛、Meituan 検索ランキング責任者

コンテンツ：

美団の小売商品事業の継続的な発展に伴い、美団検索の商品事業における関連技術も絶えず進化しています。全体の検索システムの重要な部分であるソートモジュールは、ユーザーの最終的な検索体験に大きな影響を与えます。近年、ディープラーニングはソートの分野で広く利用されています。

このセッションでは、美団の検索ランキング担当者である陳勝氏が「美団の検索ランキングプラットフォームの構築と実践」をテーマに、美団検索の技術アーキテクチャ、ランキングプラットフォームの実装、ランキングアルゴリズムの最適化について詳細に紹介し、実際のケースを通じて関連する技術経験を共有します。

トピック3：テンセントビデオ垂直検索の進歩と展望

講演者:テンセントのシニア研究員兼オンラインビデオナレッジグラフ責任者、馬建強氏

コンテンツ：

垂直検索エンジンは、従来の検索とは異なり、ユーザーに数百、数千万もの検索結果を提供するのではなく、極めて狭く正確な特定の情報を提供します。したがって、特定のシナリオのユーザーは垂直検索エンジンを好みますが、これは検索エンジン業界の細分化における避けられない傾向です。膨大な情報とユーザーの興味関心から、いかにしてユーザーの真のニーズを見つけ出し、ユーザーに適した商品やサービスをマッチングさせるか。

このテーマでは、テンセントの上級研究員でオンラインビデオナレッジグラフの責任者である馬建強氏が、テンセントのビデオ検索を背景に、ビデオ検索の主な技術シナリオ、アルゴリズムのアーキテクチャと進歩、短いビデオのベクトルリコール、長いビデオIPナレッジグラフの応用、エンドツーエンドの検索などの最先端の技術動向を含む垂直検索に関する基調講演を行います。

トピック4:広告業界におけるアリババ連合学習の実践

講演者: Alimama 広告製品技術部門の上級技術専門家であり、外部広告技術の責任者である Wang Liang (Liangbo) 氏。

コンテンツ：

ショートビデオトラフィックの急増により、企業は外部メディアトラフィックにビジネスチャンスを見出していますが、直接投資するにはリンク後の効果分析にかかるコストが高いなどの問題があります。アリママの外部広告アルゴリズムチームは、マーチャントにより良いサービスを提供するために、アリババの検索広告プラットフォームの大規模データアプリケーションシナリオに機械学習手法を適用し、システムの有効性と効率性を向上させました。チームのオープンソースのオイラーグラフディープニューラルネットワークフレームワークと双曲空間ディープニューラルネットワークフレームワークは、現在、多数の業界パートナーや研究者によって使用されています。このセッションでは、アリママ広告製品技術部の上級技術専門家であり、外部広告技術の責任者である王良氏が、アリババの広告における連合学習の応用について詳細な解釈を行い、アリババの連合学習フレームワークEFLSのアーキテクチャルートをレイヤーごとに分析します。