40の言語を同時に理解する人工知能が異言語コミュニケーションを支援

先日行われた世界的に権威のある多言語理解評価XTREME（Cross-Lingual Transfer Evaluation of Multilingual Encoders）において、ハルビン工業大学iFLYTEK合同実験室（HFL）チームが総平均スコア84.1で1位となり、世界新記録を樹立した。

[[433407]]

XTREME 評価は、モデルの多言語理解と言語間転送機能を総合的に検査することを目的としています。これまでの単一言語の自然言語理解評価タスクとは異なり、XTREME の各タスクは複数の言語をカバーし、文のペア分類、シーケンスのラベル付け、読解、文の検索トラックなど、合計 4 つのカテゴリと 9 つのタスクが含まれています。

では、機械はどのようにして多言語理解を実現するのでしょうか。コンテストの責任者でハルビン工業大学iFLYTEK共同研究室のコア技術研究者である楊子清氏は、彼らが独自に開発した言語間比較学習技術と、自己教師学習と知識移転のための知識蒸留技術を使用して、モデルが異なる言語の意味的類似性を学習するように促していると紹介しました。同時に、彼らはまた、きめ細かい言語的特徴を革新的に取り入れ、モデルが不十分なトレーニングの困難を克服し、リソースの少ない言語の不十分な学習の問題を解決し、さまざまな言語の形態的特徴に適応できるようにしています。

「これは、母国語学習を通じて、機械が少量の他言語コーパスとの類推によって言語を学習でき、コーパスの収集や音声注釈などの作業を大幅に削減できることを意味します」とヤン・ジチン氏は説明した。

iFLYTEK は、多言語対応に加え、少数言語処理用の事前学習済みモデル CINO (Chinese mINOrity 事前学習済み言語モデル) もリリースしました。

楊子青氏は「少数民族の言語処理は中国の情報処理に欠かせない部分であり、中国の情報処理の多様性の表れでもある。この技術の進歩はわが国の少数民族の言語学習の問題を大きく改善するだろう」と紹介した。

国内の少数民族言語コーパスの希少性と入手困難さのため、関連する技術研究は比較的少なく、主流の多言語モデルは国内の少数民族言語と文字をうまく処理できません。 「今後、業界における少数言語に関する技術研究をさらに推進し、少数言語に関する技術の応用を推進できることを期待しています。将来的には、さまざまな少数言語をサポートする多言語検索エンジンなどのテキストアプリケーションツールが可能になるかもしれません」と楊子青氏は語った。