新浪微博廖博：WAICリアルタイムストリームコンピューティングプラットフォームの成長と発展

[51CTO.com からのオリジナル記事] 7 年間の努力と見事な変貌。 2012年以降、6年連続で15回のサミットを開催し、多数の技術専門家が集まり、幅広い視点から学び、経験を最大限に活用しています。 2018 WOT グローバル ソフトウェアおよび運用テクノロジー サミットが 5 月 18 日に開催され、12 のコア ホットスポットに焦点を当て、国内外から 60 人の第一線の専門家を集めてハイエンドのテクノロジーの饗宴を繰り広げました。

5月19日午後、C会議ホールで開催される「高並列性とリアルタイム処理」セッションでは、Sina Weiboのリアルタイムストリーミング技術プラットフォームの責任者であるLiao Bo氏が素晴らしいプレゼンテーションを行います。会議の前に、51CTO記者は彼にインタビューする機会を得て、「WAICリアルタイムストリームコンピューティングプラットフォームの成長と発展」というテーマについて詳細な意見交換を行いました。

Sina Weibo のビジネスが進化し続けるにつれて、データ処理に対するリアルタイム要件はますます高まっています。例えば、誰もがよく知っているWeiboのホットワードは、オンラインシステムで使用するために非常に短時間でデータ処理を完了する必要があります。 WAIC リアルタイム ストリーム コンピューティング プラットフォームは、Sina Weibo に信頼性の高いミリ秒レベルおよび秒レベルのリアルタイム データ処理サービスを提供します。統合されたデータ ソースと構成可能なアクセス方法を提供することで、Sina Weibo のリアルタイム操作の開発効率を向上させ、部門の開発と運用のコストを削減します。

[[229478]]

新浪微博のリアルタイムストリーミング技術プラットフォーム責任者、廖波氏

Liao Bo 氏は、WAIC リアルタイム ストリーム コンピューティング プラットフォームが 3 つの開発段階を経てきたことを紹介しました。

• 第一段階は、さまざまなニーズによって推進される自由な発展の期間です。この段階で、Sina Weibo 技術チームはリアルタイム コンピューティング技術の研究とビジネス アプリケーションを実施しました。
• 第 2 フェーズでは、業界の発展とリアルタイム データ処理に対するビジネス需要の急速な増加に伴い、急速なビジネス開発ニーズをサポートするために、リアルタイム ストリーム コンピューティング プラットフォームが緊急に必要になりました。このフェーズでは、リアルタイム ストリーム コンピューティング プラットフォームの初期構築が完了しました。
• 第3段階は繁栄成長の段階であり、統合監視プラットフォーム、リアルタイムデータ調整システム、リアルタイムデータソース構築などのインフラストラクチャの構築、サンプル生成プラットフォーム、サードパーティ機能アクセスプラットフォームなどのさまざまなサブサービスプラットフォームが含まれます。

WAICリアルタイムストリームコンピューティングプラットフォームは、Storm、Kafka、Scribe、Flume、HTTP、Dockerなどの比較的成熟したテクノロジーを使用して構築されています。統合監視プラットフォーム、リアルタイムデータ調整システム、リアルタイムデータソースに基づいています。Sinaが独自に開発したweipig開発フレームワークを使用して、リアルタイムコンピューティング方法を促進し、構成可能な開発ツールを開発します。 WAICプラットフォームは、リアルタイムのタグ付け、フィード、プッシュなどのサービスのリアルタイム機能生成、画像、音声、動画などのマルチメディアファイルの分析など、Sina Weiboのビジネスニーズを満たしていると報告されています。

業界関係者は、スループットとスケーラビリティがリアルタイム ストリーミング テクノロジーをテストするための重要な基準であることを知っています。現在、WAIC リアルタイム ストリーム コンピューティング プラットフォームのスループットは約 40W/s です。スケーラビリティの観点から、WAIC プラットフォームはプラグイン アクセス方式を採用しており、仕様に従って対応する weibox を開発するだけで済みます。まず、アクセス方式を抽象化し、対応する仕様を策定します。拡張が必要な​​リアルタイム クラスターは、仕様に従って接続できます。

*** 廖波氏は、WAIC リアルタイム ストリーム コンピューティング プラットフォームには、リアルタイム ストリーム コンピューティング タスクの統一リソース スケジューリング、統一ケース追跡プラットフォーム、マルチメディア分析プラットフォーム、マルチ コンピュータ ルームおよびマルチ ネットワークの災害復旧など、まだ解決されていない問題がいくつかあると述べました。このうち最初の3つの項目は、Sina Weiboのリアルタイムストリーミング技術プラットフォームの構築における次のステップの焦点です。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]