機械学習のトレーニングをより安価かつ効率的にする方法

機械学習のトレーニングをより安価かつ効率的にする方法

さまざまなタスクに人工知能を導入する企業が増えるにつれ、AI モデルのトレーニングは費用がかかり、困難で、時間のかかる作業であることがすぐにわかりました。

[[434890]]

新会社 MosaicML は、これらの課題に対処するための新しい方法を見つけることを目指しており、現在、アルゴリズムとシステムの両方のレベルで問題に対処するように設計されたクラウドベースのニューラル ネットワーク トレーニング システムを立ち上げる準備をしています。

[[434891]]

1 同社の創設者らは、トレーニングのスピードアップと改善のために連携して機能する手法の組み合わせ(「モザイク」)を通じて機械学習をより効率的にすることがそのアイデアだと主張している。基本的な考え方は、機械学習モデルはクラウド、データセンター、またはローカルでは高価であるため、学習プロセスにおける非効率性を排除することが重要な問題であるということです。

同社はすでに、将来の製品の一部となる2つのコンポーネントを構築している。 Composer は、約 20 種類の異なるメソッドから始めて、そのパフォーマンス上の利点を厳密にベンチマークし、「レシピ」に組み合わせることができる、効率的な機械学習 (ML) トレーニングのためのメソッドのオープンソース ライブラリです。製品が成熟するにつれて、追加のメソッドが追加されます。

MosaicML のもう 1 つのコンポーネントは Explorer です。これは、企業の開発者がコスト、品質、実験の実行にかかる時間を比較して、モデルを実行するための最適なパスをシミュレート、プロット、選択できるようにする視覚化ツールおよびインターフェースです。 Explorer は、標準ベンチマークでの何千ものトレーニング実行を通じて測定されたコスト、時間、品質のトレードオフの視覚化をユーザーに提供するように設計されています。ユーザーは、方法、クラウド、ハードウェア タイプ別にフィルタリングして、テストを実行するための最適なプロトコルを見つけることができます。

重要なのは、これらのテクノロジーによって従来のトレーニング プロセスがより効率的になることです。

このアイデアとニーズは、人工知能、機械学習、モデルの作成とテストの初期ステップから生まれます。従来、AI 開発者は、基本的には実行可能だがかなり非効率的な方法を考案してきました。ディープラーニングの世界では、物事は機能するが効率的ではないことが実証されていますが、コンピューティングは比較的安価であるため、それは問題ではありません。問題は、これがモデルが小さい場合にのみ当てはまることです。

モデルが非常に大きくなると、その計算面は実際には非常に高価になります。そして、現在 AI 業界はモデルが非常に大きくなり、データセットが非常に大きくなるという変曲点にあり、そのため費用が非常に高くなっています。 GPT-3 (拡張読解: DaaS エンタープライズ レベルの GPT 言語モデリングが利用可能) のトレーニングには 500 万ドルの費用がかかりましたが、これは 500 万ドルの費用がかかる実験にすぎないかもしれません。

ここで、MosaicML は人工知能と機械学習の分野にチャンスを見出し始めます。

MosaicML CEO は次のように語っています。「私たちは、人工知能がコア コンピテンシーではないが、データから価値を引き出すためにこれらのテクノロジーをコスト効率よく使用できる必要がある企業に注目しています。Meta (旧 Facebook) や Google であれば、これを実行できる大規模なチームがあり、高価なコンピューティングを節約して自分で管理できます。最終的にはこれらのツールを使用するかもしれませんが、実際には私たちを必要としません。営利企業が私たちの主なターゲットです。」

MosaicML は、潜在的な顧客や開発者が使用してその機能や特徴を学習できるように、オープン ソース ライブラリをリリースしました。ただし、製品名はまだ正式には決まっておらず、無料版と有料サポート版が2022年初頭に発売される予定だ。

「モデルをトレーニングするときに本当に気になるのはコストだけです」と彼は語った。しかし、その後、何かにどれくらいの時間がかかるか、どれくらいうまく機能するかなど、他の要素を考慮し始めます。

この Explorer ビジュアライザーを使用すると、違いを確認できます。そんなにお金をかけたくない、ただ安価な実験をしたいだけなら、試してみる価値はあるでしょう。アイデアは、ユーザーに物価がいくらなのかを理解するためのツールを提供することです。しかし、アイデアがなければ、実際に計画を立てることはできず、こうした実験を実施するのは非常に困難になります。当初、MosaicML はクラウド内のモデルで動作します。これは、これらの変数は各プロバイダーの料金コストに基づいて簡単にスケーリングできるためです。

人工知能の普及により、望むと望まざるとにかかわらず、より多くの組織がハイパフォーマンス コンピューティング (HPC) の領域に参入するようになっています。モデルの作成と最適化は、ハイパフォーマンス コンピューティングに取り組む組織にとって最大の課題の 1 つであり、単にハードウェアを取得するよりも困難であることは間違いありません。

業界アナリストは、これがより多くの AI ユーザーを支援する実行可能な方法だと述べている。 MosaicML は、モデルの最適化問題に取り組んでいます。Nvidia TensorRT など、特定のハードウェア向けに最適化する最適化もありますが、MosaicML はアルゴリズムの最適化を追求します。トレーニングに使用されるAIハードウェアは非常に高価であり、非常にハイエンドかつ最先端の技術です。トレーニング時間を 50% 削減できれば、それに応じてコストも削減できます。そして、クライアントは超高額な費用をかけて優秀な人材を雇う必要がありません。

<<:  中国科学院とディープマインドが協力し、ディープラーニングを使って脳が顔を認識する仕組みを解明

>>:  可観測性はAIの成功の重要な要素の一つである

ブログ    
ブログ    
ブログ    
ブログ    

推薦する

OpenAIは低コストで開発者を引き付けるために大規模なアップデートを計画している

10月12日、外国メディアは関係者の話として、人工知能(AI)研究企業OpenAIが来月、開発者向け...

中小企業のAIを活用したデジタルトランスフォーメーションを実現する4つの道

大企業と比較すると、中小企業は強力な技術的および財務的サポートが不足している可能性があり、技術者が不...

...

...

グーグル、規制当局の措置を受けてEUでのチャットボット「バード」のリリースを一時停止

グーグルは6月14日、欧州連合(EU)の主要データ規制当局がプライバシーに関する懸念を表明したため、...

新たな勢力が市場に参入、コンパイラーの巨匠クリス・ラトナーが自らのビジネスを始める

「私たちのチームは、世界最大かつ最先端のテクノロジー企業出身者で構成されています。世界クラスの才能あ...

物流と輸送における人工知能の将来的な役割

大手物流組織はすでに配送に人工知能 (AI) を活用しています。現在、多くの企業がこのデータを収集し...

人工知能に特化したAIハッカーが近々登場すると予想

最近、ある問題を発見しました:映画でも現実でも、人工知能AIは人間を圧倒するような形で世間の前に現れ...

...

トイレ掃除から純資産435億ドルへ!黄仁訓の成功の秘訣:時計を着けないこと

若者に向けて、Lao Huang 氏から 3 つの提案を紹介します。学ぶことをやめず、できる限り最善...

AIを活用してモノのインターネットを次のレベルに引き上げる方法

世界中の企業が人工知能を広く導入しています。モノのインターネットもすぐ後に続きます。実際、モノのイン...

...

フロントエンド上級編: よく使われるいくつかの JS 検索アルゴリズムの概要とパフォーマンス比較

[[356180]]序文今日は引き続き js アルゴリズムについてお話ししましょう。以下の説明を通じ...

...