業界初のNLPシナリオ向けディープラーニングフレームワークがオープンソースに

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

最近、Alibaba Cloud は、NLP シナリオ向けの業界初のディープ トランスファー ラーニング フレームワークであるディープ トランスファー ラーニング フレームワーク EasyTransfer を正式にオープンソース化しました。オープンソースリンク: https://github.com/alibaba/EasyTransfer

このフレームワークは、自然言語処理シナリオにおけるモデルの事前トレーニングと転移学習の開発と展開をよりシンプルかつ効率的にするために、Alibaba Cloud Machine Learning PAI チームによって開発されました。

自然言語処理シナリオ向けのディープラーニングは、現実世界のシナリオで大きな需要があります。多数の新しい分野が出現し続ける中、従来の機械学習では、分野ごとに大量のトレーニングデータを蓄積する必要があり、ラベル付けに多くの人的資源と物的資源を消費します。ディープ トランスファー ラーニング テクノロジーは、ソース ドメインで学習した知識を新しいドメインのタスクに転送できるため、アノテーションに必要なリソースを大幅に削減できます。

自然言語シナリオに対するディープラーニングの需要は多いものの、オープンソースコミュニティには現在完全なフレームワークが存在せず、シンプルで使いやすく、高性能なフレームワークを構築することは大きな課題となっています。

まず、事前トレーニング済みモデルと知識転送が、現在主流の NLP アプリケーション モデルになっています。一般的に、事前トレーニング済みモデルのサイズが大きいほど、学習した知識表現が効果的になります。ただし、超大規模モデルは、フレームワークの分散アーキテクチャに大きな課題をもたらします。超大規模モデルのトレーニングを効果的にサポートする高性能分散アーキテクチャを提供する方法。

第二に、ユーザーアプリケーションシナリオは非常に多様であり、単一の転移学習アルゴリズムを適用することはできません。下流のシナリオの効果を向上させるために、完全な転移学習ツールを提供するにはどうすればよいでしょうか。

3つ目に、アルゴリズム開発からビジネス実装までは通常長いプロセスがあります。モデルのトレーニングから展開まで、シンプルで使いやすいワンストップサービスを提供するにはどうすればよいでしょうか。

これら 3 つの課題に直面して、PAI チームは、シンプルで使いやすく、高性能な転移学習フレームワークである EasyTransfer を立ち上げました。このフレームワークは、主流の転移学習アルゴリズム、自動混合精度、コンパイル最適化、効率的な分散データ/モデル並列戦略をサポートしており、産業グレードの分散アプリケーション シナリオに適しています。

混合精度、コンパイル最適化、分散戦略により、EasyTransfer でサポートされている ALBERT モデルは、分散トレーニングにおいて ALBERT のコミュニティ バージョンよりも 4 倍以上高速であることは特筆に値します。

同時に、アリババ社内の10以上のBUと20以上の業務シナリオによって磨き上げられ、業界をリードする高性能な事前トレーニングツールチェーンと事前トレーニング済みのModelZoo、豊富で使いやすいAppZoo、効率的な転移学習アルゴリズム、アリババPAIエコシステム製品との完全な互換性など、NLPと転移学習のユーザーにさまざまな利便性を提供し、モデルのトレーニングから展開までワンストップのサービスをユーザーに提供します。

Alibaba Cloud Machine Learning PAIチームの責任者であるLin Wei氏は、次のように述べています。「EasyTransferコードをオープンソース化することで、より多くのユーザーにAlibabaの機能を活用してもらい、NLPの事前トレーニングと知識移転のハードルを下げることを期待しています。同時に、より多くのパートナーと緊密に協力して、シンプルで使いやすく、高性能なNLPおよび転移学習ツールを作成していきます。」

EasyTransfer ツール フレームワークの概要

EasyTransfer の全体的なフレームワークを下図に示します。その設計により、深層転移学習のアルゴリズム開発の難しさが可能な限り簡素化されます。このフレームワークは、一般的に使用される IO、レイヤー、損失、オプティマイザー、およびモデルを抽象化します。ユーザーは、これらのインターフェイスに基づいてモデルを開発したり、事前トレーニング済みのモデル ライブラリ ModelZoo に直接アクセスして迅速なモデリングを行ったりできます。このフレームワークは、モデルの微調整、機能ベースの TL、インスタンスベースの TL、モデルベースの TL、メタ学習の 5 つの転移学習 (TL) パラダイムをサポートしています。同時に、フレームワークは AppZoo を統合して主流の NLP アプリケーションをサポートし、ユーザーが一般的に使用される NLP アルゴリズム アプリケーションを簡単に構築できるようにします。最後に、このフレームワークは PAI エコシステム製品とシームレスに互換性があり、トレーニングから展開までワンストップのエクスペリエンスをユーザーに提供します。

業界をリードする高性能な事前トレーニングツールチェーンと事前トレーニング済みのModelZoo

EasyTransfer フレームワークは、産業グレードの分散アプリケーション シナリオをサポートし、分散オプティマイザーを改善し、自動混合精度、コンパイル最適化、効率的な分散データ/モデル並列戦略を組み合わせて、コミュニティ バージョンのマルチマシンおよびマルチカード分散トレーニングよりも 4 倍以上高速なコンピューティング速度を実現します。この高性能な分散ベースに基づいて、フレームワークは完全な事前トレーニング ツールチェーンを起動し、ユーザーが BERT や ALBERT などの言語モデルを事前トレーニングできるようにします。この事前トレーニングツールによって生成されたモデルは、マルチラウンド対話リスト QuAC (2019 年 10 月) で 1 位、中国語 CLUE リスト (2019 年 12 月) で 1 位、英語 SuperGLUE リストで 2 位など、複数の公開リストで優れた結果を達成したことは特筆に値します。同時に、EasyTransfer は事前トレーニング済みモデル ModelZoo を統合し、BERT、ALBERT、XLNet などの主流モデルの継続的な事前トレーニングと微調整をサポートするほか、PAI プラットフォームでトレーニングされた高品質の事前トレーニング済みモデルと自社開発の電子商取引シナリオ マルチモーダル モデル FashionBERT も統合します。

豊富で使いやすいAppZooと知識の蒸留

EasyTransfer は、非常に使いやすく、柔軟性があり、学習コストが低い AppZoo をカプセル化します。これにより、ユーザーは、わずか数行のコマンドで「最先端の」オープンソースおよび自社開発のアルゴリズムを「大規模」に実行し、テキストのベクトル化、マッチング、分類、読解、シーケンスのラベル付けなど、さまざまなシナリオやビジネス データで NLP アプリケーションにすばやくアクセスできます。また、豊富な知識蒸留アルゴリズムも統合されており、ユーザーは、パラメータ数が多く推論速度が遅い大規模モデルから、オンラインに展開できるパラメータ数が少なく推論性能の高い小規模モデルを蒸留できます。例えば、EasyTransfer はタスク適応型蒸留モデル AdaBERT を統合し、ニューラル アーキテクチャ検索 (NAS) という新しい観点から、対象タスクに最適な小さなモデル アーキテクチャを検索します。6 つの古典的な NLP タスクでは、BERT モデルは元のサイズの 1/17 ～ 1/10 に圧縮され、推論の加速は元の 12 ～ 29 倍になります。同時に、このモデルの関連論文がAIのトップカンファレンスであるIJCAI 2020に採択されました。

効率的な転移学習アルゴリズム

EasyTransfer フレームワークは、モデルの微調整、機能ベースの TL、インスタンスベースの TL、モデルベースの TL、メタ学習など、すべての主流の転移学習パラダイムをサポートします。これらの転移学習パラダイムに基づいて 10 を超えるアルゴリズムが開発されており、Alibaba のビジネス実践において良好な成果が得られています。以降のすべてのアルゴリズムは、EasyTransfer コード ベースにオープン ソース化されます。特定のアプリケーションでは、ユーザーは転移学習パラダイムを選択して、下の図に従って効果をテストできます。

複数のタスクに適応する独自開発のメタ学習アルゴリズムを統合する

EasyTransfer フレームワークは、メタ学習に基づくマルチタスク学習アルゴリズムを統合しており、特定のタスクのモデルをトレーニングするときに、ユーザーが他のタスクのデータ セットを使用して学習を強化できるようにサポートします。 EasyTransfer は、メタ学習の考え方を取り入れた独自開発のメタファインチューニングアルゴリズムを統合し、事前トレーニング済み言語モデルのクロスドメインメタ学習者を学習し、学習したメタ学習者を特定分野のタスクに迅速に移行できるようにすることを目的としています。このアルゴリズムの関連論文は、最高峰の NLP カンファレンスである EMNLP 2020 に採択されました。上記のモデルには、パラメータが多すぎることと推論速度が遅いという問題がまだ残っているため、EasyTransfer チームは独自のメタ知識蒸留アルゴリズムをさらに開発し、蒸留段階で Meta-leaner に対して選択蒸留を追加実行しました。これにより、該当分野での蒸留によって得られた小型モデルの効果が大幅に向上し、元のモデルの効果に近づきました。関連するコードと論文は近い将来に公開される予定です。

Alibaba PAIエコシステム製品と完全に互換性があります

EasyTransfer フレームワークは PAI-Tensorflow と完全に互換性があります。ユーザーは、コードや構成ファイルを変更するだけで、PAI が独自に開発した効率的な分散トレーニング、コンパイル最適化などの機能を使用できます。同時に、このフレームワークは PAI エコシステム製品と完全に互換性があり、PAI Web コンポーネント (PAI Studio)、開発プラットフォーム (PAI DSW)、クラウドネイティブ トレーニング プラットフォーム (PAI DLC)、および PAI サービング プラットフォーム (PAI EAS) で直接使用できます。

アプリケーションの実装と革新的なアルゴリズムソリューション

EasyTransfer フレームワークは、インテリジェントな顧客サービス、検索推奨、セキュリティリスク管理、大規模エンターテイメントなど、アリババグループ内の数十の NLP シナリオに実装されており、ビジネス成果の大幅な向上をもたらしています。現在、EasyTransfer の毎日のサービス呼び出しは 1 億回を超え、月平均のトレーニング呼び出しは 5 万回を超えています。 EasyTransfer チームは、事業を展開する中で、メタ学習、マルチモーダル事前トレーニング、強化転移学習、特徴転移学習などの革新的なアルゴリズム ソリューションを数多く蓄積してきました。また、数十件のトップ カンファレンス論文を共同発表しています。代表的な研究をいくつか以下に示します。これらのアルゴリズムの一部はオープンソース化されており、残りは一般の人々が使用できるように EasyTransfer フレームワークで段階的にオープンソース化される予定です。

•[EMNLP 2020]。マルチドメインテキストマイニングのためのメタファインチューニングニューラル言語モデル。2020年。

•[SIGIR2020] FashionBERT: 適応損失によるファッション分野のテキストと画像のマッチング。2020年。

•[IJCAI 2020] AdaBERT: 微分可能なニューラルアーキテクチャ検索によるタスク適応型 BERT 圧縮。2020 年。

•[KDD 2019] インスタンスベースの選択的転移学習のためのミニマックスゲーム。2019年。

•[CIKM 2019]。電子商取引検索のためのWasserstein Regularizersを使用したクロスドメインアテンションネットワーク、2019年。

•[WWW​​ 2019]。レビューの有用性予測のためのマルチドメインゲートCNN、2019年。

•[WSDM 2019]。選択的転移の学習：ディープテキストマッチングのための強化転移学習。2019年。

•[WSDM 2018]。電子商取引における検索ベースの質問応答システムにおける転移学習のためのドメイン関係のモデリング。2018年。

•[ACL 2018]。電子商取引における情報探索会話におけるコンテキスト認識型質問マッチングのための転移学習。2018年。

•[ICDM 2017] マルチタスク畳み込みニューラルネットワークを使用した短期降雨量予測モデル。2017年。

最後に、EasyTransfer ツールは、中国の CLUE コミュニティによって公式に推奨されているツールキットです。同時に、Alibaba Cloud Tianchi Platform は CLUE コミュニティと協力して、マルチタスク意味理解コンテストを開催します。EasyTransfer がデフォルトの開発ツールになります。ユーザーは、EasyTransfer に基づいて、マルチタスク ベースラインを簡単に構築し、モデリングと最適化を実行できます。お楽しみに。