テンセントは、分散ベクトル化統計分析と因果推論に使用できるデータコンポーネントであるFast-Causal-Inferenceをオープンソース化しました。

テンセントは9月18日、同社の公式アカウント「Tencent Open Source」において、オープンソースの分散型データサイエンスコンポーネントプロジェクト「Fast-Causal-Inference」がGitHubで公開されたと発表した。

▲画像出典：テンセントオープンソース公式アカウント

これは、テンセントWeChatが開発した、SQLインタラクションを利用した分散ベクトル化に基づく統計分析および因果推論コンピューティングライブラリであると報告されています。 「ビッグデータ下での既存の統計モデルライブラリ（R / Python）のパフォーマンスボトルネックを解決し、数百億のデータを数秒で実行できる因果推論機能を提供し、SQL言語を通じて統計モデルの使用の敷居を下げ、実稼働環境での使用を容易にします。WeChatビデオアカウントやWeChat検索など、複数のWeChat社内ビジネスに適用されています。」

公式紹介:

膨大なデータから数秒で因果推論機能を提供

ベクトル化された OLAP 実行エンジン ClickHouse/StarRocks に基づいて、速度は究極のユーザー エクスペリエンスにさらに役立ちます。

シンプルなSQLの使用

SQLGateway WebServer は、SQL 言語を介して統計モデルを使用するハードルを下げ、エンジン関連の SQL 拡張と最適化を透過的に実行しながら、上位層で SQL を使用する非常に簡単な方法を提供します。

基本演算子と高階演算子の因果推論機能と、上位レベルのアプリケーションカプセル化を提供します。

ttest、OLS、Lasso、ツリーベースモデル、マッチング、ブートストラップ、DML などをサポートします。

IT Homeは、最初のバージョンではすでに以下の機能がサポートされていると担当者が述べたことも知りました。

基本的な因果推論ツール

• デルタ法に基づくt検定、CUPEDをサポート
• OLS、数十億行のデータ、1秒未満

高度な因果推論ツール

• IV、OLSに基づくWLS、その他のGLS、DID、合成制御、CUPED、仲介がインキュベートされている
• Uplift: 数千万のデータポイントを数分で計算
• 明示的な解法なしに分散推定の問題を解決するためのブートストラップ/順列などのデータシミュレーションフレームワーク

参照する

• オープンソースの発表 | Tencent 分散データサイエンス コンポーネント
• Tencent/高速因果推論 — GitHub