ソフトウェアとハ​​ードウェアを組み合わせたCDS Shouyun AIクラウドサービスの技術実践

ソフトウェアとハ​​ードウェアを組み合わせたCDS Shouyun AIクラウドサービスの技術実践

人工知能は新たな変化を先導しています。近年、人工知能はテクノロジー業界から始まり、急速に生活の各分野に浸透し、私たちの生活はすでにAIの息吹に満ちています。現在、業界全体における人工知能技術の導入はクラウドの形で実施されるのが一般的であり、人工知能クラウドサービスAIaaS(AI as a Service)はクラウドサービスプロバイダーにとって新たな成長ポイントとなっています。人工知能のディープラーニングアルゴリズムはすでに比較的成熟しており、いかに効率性を向上させるかが鍵となります。業界ではよく知られたクラウドサービスプロバイダーである CDS は、ソフトウェアとハ​​ードウェアを組み合わせた AI クラウドサービス技術の探求を通じて方向性を示してきました。

1. AI のクラウド化は明らかなトレンドです。

ソフトとハードを組み合わせることが鍵

人工知能は、技術探索から大規模応用へと移行しています。人工知能はインフラストラクチャとなり、AIのクラウドコンピューティングが明確なトレンドとなっています。

1つ目はユーザーの需要です。企業にとって、競争力を継続的に高め、デジタル変革を深める必要があります。人工知能は避けられない選択肢となり、多くの需要を生み出しています。クラウドの活用が進むにつれ、企業は人工知能がクラウドと同じくらい使いやすく便利になり、従量課金制になることを期待しています。

2 つ目は、クラウド ベンダーの成長ポイントです。クラウド ベンダーにとって、人工知能の機能を強化し、企業に力を与えることは、新たな成長ポイントです。多くのクラウド ベンダーが自社の名前に「インテリジェンス」を付け加えているのはそのためです。

3 つ目は、人工知能にはハードウェアとソフトウェアが関係しており、技術が複雑で継続的な最適化が必要です。この分野でリソースと技術力を持っているのはクラウド ベンダーだけです。

IaaS の基盤となるテクノロジーが仮想化であるのと同様に、AI クラウド サービスはディープ ニューラル ネットワーク アルゴリズムとソフトウェアとハ​​ードウェアのコンピューティング能力の組み合わせに依存しています。アルゴリズムの実装はソフトウェアに依存します。人工知能用のオープンソースソフトウェアがトレンドであり、計算能力はソフトウェアとハ​​ードウェアを組み合わせる能力に依存します。

2. オープンソースとソフトウェアとハ​​ードウェアの組み合わせは、AI テクノロジーのトレンドです。

OpenVINO™には

人工知能技術においては、TensorFlow、Caffe、MXNet、Kaldiなどの有名なディープラーニングフレームワークなど、オープンソースが主流となっています。一方、計算能力は人工知能アプリケーションの速度を決定するため、非常に重要です。したがって、人工知能の有効性はソフトウェアとハ​​ードウェアの組み合わせに依存します。しかし、オープンソースフレームワークは数多く存在するため、ユーザーにとっては、異なるディープラーニングフレームワークや異なるハードウェアを使用する場合、それらを一つずつ最適化する必要があり、作業負荷が重くなります。

OpenVINO™ ツールキットの登場により、この問題は解決しました。OpenVINO™ ツールキットはオープンソースであり、主流のディープラーニング フレームワークをサポートし、Intel アーキテクチャ内のさまざまなハードウェアをサポートし、統一されたインターフェイスを提供し、オープンソースとハードウェアおよびソフトウェアのトレンドを組み合わせています。

OpenVINO™ ツールキットの紹介

OpenVINO™ ツールキットは、高性能コンピューティングおよびディープラーニング アプリケーションの開発を加速するために、Intel が既存のハードウェア プラットフォームに基づいて開発したツールキットです。人間の視覚シミュレーション、自動音声認識、自然言語処理、推奨システムなど、さまざまなタスクを解決するアプリケーションとソリューションを迅速に開発するための包括的なツールキットです。

このツールキットは、畳み込みニューラル ネットワーク (CNN)、再帰型ネットワーク、アテンション ベース ネットワークなどの最新世代の人工ニューラル ネットワークに基づいており、Intel ハードウェア全体でコンピューター ビジョンと非ビジョンのワークロードを拡張してパフォーマンスを最大化します。エッジからクラウドに展開された高性能な人工知能とディープラーニング推論により、アプリケーションを高速化します。

OpenVINO™ ツールキットの利点

OpenVINO™ ツールキットには、主に 4 つの利点があります。

畳み込みニューラル ネットワークに基づくディープラーニング推論をサポートします。

Intel CPU、Intel グラフィックス、Intel Neural Compute Stick、Intel Movidius™ Vision プロセッサー間での実行をサポートします。

使いやすいコンピューター ビジョン機能と事前に最適化されたカーネルのライブラリを使用して、市場投入までの時間を短縮します。

OpenCV* や OpenCL™ などのコンピューター ビジョン標準に合わせて最適化された呼び出し。

次の図は、典型的なOpenVINO™ワークフローを示しています。

図 OpenVINO™ ワークフロー

Intel Distribution of OpenVINO™ ツールキットには、次の主要コンポーネントが含まれています。

  • ディープラーニング モデル オプティマイザー: モデルをインポートし、推論エンジンで最適化された実行のために準備するためのクロスプラットフォームのコマンドライン ツール。モデル オプティマイザーは、Caffe、TensorFlow、MXNet、Kaldi、ONNX などの一般的なフレームワークでトレーニングされたモデルをインポート、変換、最適化します。
  • ディープラーニング推論エンジン: さまざまな種類のハードウェアで高性能な推論を可能にする統合 API。
  • 推論エンジン サンプル: アプリケーションで推論エンジンを使用する方法を示すシンプルなコンソール アプリケーションのセット。
  • 追加ツール: 精度チェッカー ユーティリティ、トレーニング後の最適化ツールのガイド、モデル ダウンローダーなどを含む、モデル コラボレーション用のツール スイート。

OpenVINO™ ツールキットはオープンソースであり、AI 開発者の間で非常に人気があります。現在、Github で 1.9k のスターと 787 のフォークを獲得しています。

図 OpenVINO™ Github インターフェース

有名なクラウド サービス プロバイダーである CDS が、OpenVINO™ を使用して AI クラウド サービス機能をどのように向上させているかを見てみましょう。

3. CDS初のクラウド事例

テクニカル分析

AI 機能の出力における重要なリンクとして、AI モデルの展開と推論効率は、全体的なパフォーマンスに直接影響を及ぼします。CDS Shouyun は Intel と共同で、高性能 K8S コンテナ プラットフォームに OpenVINO™ モデル サーバーを導入し、AI モデルの迅速な展開と推論効率の向上を支援しています。

現在、この新しいソリューションは、CDS Capital Cloud 内の AI アプリケーション シナリオで最初に導入され、検証されています。実際の結果では、OpenVINO™ Model Server に基づく新しいソリューションは、ユーザーの同時アクセス機能の点で従来の AI モデル導入ツールよりはるかに優れているだけでなく、検出遅延などの主要なパフォーマンス指標でも優れたパフォーマンスを発揮することが示されています。

Shouyun AIクラウドサービスソリューションアーキテクチャ

AIクラウドサービスは、AIアプリケーションを加速するためのハードウェアインフラストラクチャの提供に限定されるものではありません。基盤となるインフラストラクチャリソースを効率的に割り当て、スケジュールできるクラウドプラットフォームと、このクラウドプラットフォーム上のAIアプリケーションとモデルに完全な動作環境を提供できるミドルウェアまたはフレームワークも導入する必要があります。クラウドプラットフォームとAI動作環境の組み合わせが合理的で、連携が効率的であるほど、AIクラウドサービスの全体的なパフォーマンスは向上します。 CDS は、AI クラウド サービス ソリューションを構築するプロセスにおいてこの原則を順守しています。そのアーキテクチャを下の図に示します。

図 CDS First Cloud AI クラウド サービス ソリューション アーキテクチャ

  • インフラストラクチャ アーキテクチャ レベルでは、Intel は強力なデータ処理、ストレージ、および転送機能を実現する一連の高度なコンピューティング、ストレージ、およびネットワーク製品を提供しています。
  • K8S 仮想化レイヤーは、基盤となるアーキテクチャのノード管理および拡張サービスを提供する役割を担い、インフラストラクチャ レイヤーの機能を最大限に活用しながら、ソリューションの優れたスケーラビリティを実現します。
  • このソリューションが提供する AI サービスは、コンテナを通じて上位層で多様なアプリケーション シナリオ向けの AI 機能を出力します。

このアーキテクチャに基づいて、CDS Shouyun の AI クラウド サービス機能は、ソリューションの形でクラウド プラットフォームまたはベアメタル プラットフォームを選択したユーザーに追加のローカル サービス機能を提供できるだけでなく、サービス API の形でユーザーにリモート AI 機能の出力を提供することもできます。

OpenVINO™モデルサーバーはソリューションの中核です

OpenVINO™ モデル サーバーは、OpenVINO™ ツールキットの重要なコンポーネントです。OpenVINO™ ツールキットの役割は、ユーザーがモデルを最適化および高速化して、コストを削減し、効率を高めるという目標を達成できるようにすることです。OpenVINO™ モデル サーバーは、Intel®️ アーキテクチャ インフラストラクチャが提供するコンピューティング パワーをベースとして活用し、CDS の新しい最初のクラウド ソリューションがモデル展開プロセスを大幅に簡素化できるようにすることで、AI モデルをより効率的かつ便利に実稼働環境に展開し、推論パフォーマンスを効果的に向上できるようにします。

図 OpenVINO™ モデル サーバーのアーキテクチャ

図に示すように、OpenVINO™ モデル サーバーは、ユーザーがさまざまなシナリオで呼び出すことができる 2 つの標準ネットワーク API インターフェイス (gRPC と REST) を提供します。ユーザーが AI タスクをローカルで開始するかリモートで開始するかに関係なく、これらのタスクはコンテナーに展開された OpenVINO™ モデル サーバー サービスに接続されます。

上記のアーキテクチャ設計とワークフローにより、OpenVINO™ モデル サーバーは、AI クラウド サービスの展開とアプリケーションにおいて次の 4 つの利点を実現できます。

  • Intel アーキテクチャ内のさまざまなタイプのハードウェア インフラストラクチャのパフォーマンスを最適化します。この利点により、ユーザーはモデル トレーニング後にさまざまなシナリオでモデルを展開して高速推論を行うことができ、展開と運用のコストを効果的に削減できます。
  • OpenVINO™ モデル サーバーは K8S と適切に統合されており、ミラーリングを通じて迅速なモデルの展開、保守、拡張を簡単に実現できます。また、水平方向のスケーラビリティも向上しているため、ユーザーに集中的なコンピューティング ホスティング サービスを提供しやすくなります。
  • 一般的な主流のディープラーニングフレームワークを適切にサポートしているため、ユーザーは AI ソリューションの設計と展開時にフレームワークの制約を取り除き、ニーズに応じて最適なフレームワークを導入し、AI サービス機能を強化できます。
  • 統合ネットワーク API アクセス機能により、エンド ユーザーは CDS First Cloud のクラウド プラットフォームまたはベア メタル プラットフォームに基づいてローカライズされた AI 機能を展開したり、リモート ネットワークを使用してこの機能を呼び出したりすることができます。 gRPC や REST などのさまざまな API インターフェース モードのサポートにより、ソリューションの使いやすさも大幅に向上します。

実践: 不正コンテンツ検出で高性能と低コストの両方を実現

新しいAIクラウドサービスソリューションが形成された後、CDS Shouyunはターゲットを絞った実践的な検証作業を開始し、より緊急な内部アプリケーションのニーズがある不良コンテンツ検出シナリオを「実験分野」として優先しました。

図 CDS Shouyun AI の不正コンテンツ検出プロセス

これまで、CDS Shouyun は主に TensorFlow Serving フレームワークなどのオープンソース ツールを使用して、ディープラーニング モデルを推論用の本番環境にデプロイしていました。しかし、このプロセスでは、ユーザーは次のような課題に直面することがよくありました。

  • まず、モデルのトレーニングと推論のプロセスでは、どのようなツールを使用しても、パフォーマンスと精度が異なる場合があります。適切に調整しないと、作業効率を十分に活用できません。
  • 第二に、アプリケーションシナリオの変化に応じて、ユーザーは異なるディープラーニングフレームワークを選択する必要があるかもしれません。
  • 特に重要なのは、異なるアーキテクチャのハードウェア インフラストラクチャ上に構築された本番環境での AI モデルの推論パフォーマンスが大きく異なることです。ソリューション ユーザーがハードウェア環境ごとに繰り返して面倒な構成とデバッグを実行しなければならない場合、必然的に多くの時間がかかり、作業効率に悪影響を及ぼします。

これらすべての問題は、CDS Shouyun が作成した新しい AI クラウド サービス ソリューションで適切に解決されました。 OpenVINO™ モデル サーバーの導入とアプリケーションの利点により、この新しいソリューションでは、ユーザーが AI アプリケーションの高可用性、容易なメンテナンス、ワンクリック導入を実現できるだけでなく、推論パフォーマンスが大幅に向上し、TCO の削減にも役立ちます。

図1. CDS Shouyunの不正動画コンテンツ検出シナリオの検証テスト結果

テスト結果を図に示します。OpenVINO™ Model Server を使用したソリューションは、比較グループよりもはるかに多くの同時ユーザーをサポートしており、これは TensorFlow Serving を使用したソリューションの 2.4 倍です。同時に、各同時クライアントの遅延も 30 ミリ秒以内に制御されているため、検出プロセス全体がビデオ再生の速度に追いつき、リアルタイム検出を実現できます。

将来、CDS Cloud がパブリック クラウド市場に完全に参入すると、OpenVINO™ モデル サーバー ソリューションによってもたらされるアプリケーションの利点も競争上の優位性に変換されます。次に、CDS Shouyun は、より多くのアプリケーション シナリオで新しいソリューションのパフォーマンスをさらに最適化することに加えて、Intel と協力して、OpenVINO™ モデル サーバーに基づく AI クラウド サービスとエッジ コンピューティングを統合するソリューションを模索する予定です。このタイプのソリューションは、AI クラウド サービスの適用範囲をセキュリティ、自動検出、アクセス制御システムなどのアプリケーション シナリオにさらに拡大し、ユーザーにさらに多様で差別化されたクラウド サービス機能を提供します。

4. 結論: OpenVINO™はAIクラウドサービスの未来です

進化の方向

業界でよく知られているクラウドサービスプロバイダーとして、CDS Shouyun は AI クラウドサービスに対するユーザーの切実な需要を迅速に捉え、Intel と提携して OpenVINO™ モデルサーバーを使用し、ユーザーにとってより効率的で便利かつ完全な AI クラウドサービス機能を実現し、競争力を強化しました。

AI 機能はクラウド サービスの新たな領域であり、OpenVINO™ スイートは AI クラウド サービスを構築するための強力なツールです。 OpenVINO™ をベースとしたクラウド サービスは、Intel アーキテクチャ内のさまざまなハードウェアをサポートし、K8S をサポートし、主流のオープン ソース ディープラーニング フレームワークをサポートし、統合された API を提供できます。 OpenVINO™ をベースとした AI クラウド サービスが今後の進化の方向になると信じています。ユーザーがこのような AI クラウド サービスを選択すれば、投資に対する良い保証となるでしょう。

<<:  世界トップクラスのAI研究所? DeepMind、OpenAI、FAIRがトップ3を占める

>>:  オープンソースのコラボレーションを通じて AI を進化させる方法

ブログ    
ブログ    
ブログ    

推薦する

WaymoとGoogleが自動運転のマルチ軌道行動予測を実現するTNTモデルを提案

はじめに: Waymo は最近、フェニックス地域で安全担当者なしの無人タクシーの運行を開始すると発表...

今後10年間の主要な投資の方向性を予測して、あなたは未来に向けて準備ができていますか?

古代から今日のモバイルインターネット時代に至るまで、人類の誕生以来、世界に影響を与えてきたあらゆる破...

無人トラックで商品を配達しますか?アマゾンが自動運転車の特許を申請

[51CTO.com からのオリジナル記事] 現在、ドローンは間違いなくアマゾンの物流ネットワークで...

...

追加データなしで、ImageNetで初めて87.1%の精度を達成した。Yan ShuichengのチームはVOLOをオープンソース化した。

[[407987]]過去 10 年間、コンピューター ビジョン認識タスクは畳み込みニューラル ネッ...

米軍はU2に人工知能副操縦士を装備した。世界で最も操縦が難しい航空機は将来ドローンになるかもしれない

ロシアのスプートニク通信は12月17日、米空軍が最近、U2戦闘機の副操縦士として初めて人工知能を使用...

AIの覚醒はなんと恐ろしいことか!人工知能は人間に取って代わり、地球の新たな支配者となるのでしょうか?

人工知能が人類を転覆させるのではないかと人々が心配する理由は2つしかありません。1つ目は、ロボットの...

...

...

データベースは再び削除されましたが、今回はAIによって削除されました

最近、またデータベース削除事件が起こっていると聞きました。しかし、今回はこれまでとは異なります。作業...

今年のノーベル賞はアルトゥール・エケルト氏が受賞すると見られている。百度研究所の科学者の力を過小評価すべきではない。

2019年のノーベル賞受賞者のリストは、今年10月7日から発表されます。発表日が近づくにつれ、学界...

人工知能はクラウド セキュリティ サービスをどのように変えるのでしょうか?

この記事では、AI がクラウド セキュリティ サービスをどのように変えているのか、そしてそれが企業に...

アルパカ科全体よりも優れたMeta AIの新しい自己アライメント手法は、人間の注釈データをほとんど必要としません

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載...

フォーカス | 機械学習に役立つ 7 つのクラウド コンピューティング サービス

データ分析は、多くの組織がクラウド コンピューティング プラットフォーム上で実行する主要なコンピュー...