AI推論の進化

AI推論市場はここ3、4年で劇的に変化しました。以前は、エッジ AI は存在すらせず、推論機能のほとんどはデータセンター、スーパーコンピューター、または政府のアプリケーションで行われており、これらも通常は大規模なコンピューティング プロジェクトでした。これらすべてのケースにおいて、パフォーマンスは重要であり、常に最優先されます。今日を見据えると、エッジ AI 市場は、特に商業的なアプリケーションに移行するにつれて、大きく様変わりしています。これらのユースケースでは、パフォーマンスそのものよりも、低コスト、消費電力、小型サイズが主な懸念事項となります。

[[378809]]

ハードウェアとソフトウェアの共同設計によるパフォーマンスの向上

AI チップを見ると、チップごとに異なることが一目瞭然です。低コスト、低消費電力、小型フォームファクタのエッジ AI 市場で役割を果たすには、チップをさらに小型化する必要があります。

5G が登場し始めると、生データをクラウドに送信して外出先で処理することが不可能になることがさらに明らかになります。エッジには、99.9% のケースを解決できる一定量のインテリジェンスが必要であり、データ センターは極端なケースにのみ使用する必要があります。その完璧な例が防犯カメラです。エッジ AI は、疑わしい活動が発生しているかどうか、周囲に人がいるかどうかを検出できる必要があります。興味深い発見があった場合、それらの部分はデータセンターに送信され、さらに処理されます。ただし、データセンターに送信されるデータは、実際には推論全体のほんの一部にすぎません。エッジで AI を推論するには、多くの制約を満たす必要があることが多く、非常に大規模で複雑なモデルを実行したい場合でも、実際にはデータのごく一部でそれらのモデルを実行するだけで済むことがあります。

初期のエッジ AI 推論設計におけるもう 1 つの誤解は、万能のアプローチで十分であるということです。専用のチップが登場し、その利点と能力が実証されたため、これも誤りであることが証明されました。重要なのは、アルゴリズムを中心にチップを構築することです。アルゴリズムを本当に磨けば、はるかに優れたパフォーマンスが得られるからです。適切なバランスとは、特殊なハードウェアのように、コンパイル時のプログラミング機能を備えながら、可能な限り最も効率的な計算を実現することです。

プログラミングが鍵

この業界はまさに人工知能の発展の瀬戸際にあります。今後数十年間にこの分野で見られる革新は驚くべきものとなるでしょう。他の長期市場と同様に、変化が予想されます。そのため、特定の顧客モデル向けに極度に特化したチップを設計しないことが重要になります。今日これを行えば、2年後にチップが顧客の手に渡ったときには、モデル番号は大幅に変更されている可能性があり、顧客の要件も変更されているでしょう。これが、企業がようやく AI 推論チップを入手したものの、期待したほどの性能が出ないという話が次々と聞かれる主な理由です。この問題は、チップ構造にプログラマビリティが組み込まれていれば簡単に解決できます。

AI の柔軟性とプログラマビリティは、あらゆるエッジ AI プロセッサにとって最も重要です。顧客のアルゴリズムは定期的に変更され、システム設計も変更されます。エッジ AI 機能が主流になるにつれて、チップ設計者は、自分たちが「考える」モデルを選択するのではなく、顧客のモデルを適応させ、変更する能力が必要になります。私たちはこれを何度も目にしており、それがコンパイラが非常に重要である理由です。コンパイラにはエンドユーザーからは見えない多くのテクノロジがあり、すべてが最小限のエネルギーで効率的に実行されるようにリソースを割り当てることを中心に展開されています。

注意深く監視されるもう 1 つの重要な特性はスループットです。優れた推論チップは現在、チップ内でデータを非常に高速に移動できるように設計されており、つまり、データを非常に高速に処理し、データをメモリに出し入れする必要があることを意味します。チップにとって本当に重要なのは、モデル、画像サイズ、バッチ サイズ、プロセス、PVT (プロセス/電圧/温度) 条件を考慮して、推論エンジンがどれだけのスループットを実現できるかです。これはパフォーマンスを測定する主な指標ですが、驚くほど多くのベンダーがこれを提供しています。

エッジAIは前進する

現在、多くの顧客はスループット不足に陥っており、現在と同じパワーや価格を維持しながら、より高いスループットとより大きな画像サイズを実現するソリューションを求めています。それが得られれば、彼らのソリューションは競合他社のソリューションよりも正確で信頼性が高くなり、市場での採用と拡大が加速します。したがって、現在のアプリケーションは数千または数万単位ですが、より多くのスループットとワットを提供する推論が利用可能になるにつれて、この数は急速に増加すると予想されます。

エッジ AI 市場は急速に成長しており、チップベンダーはこの市場での地位を競っています。実際、AI の売上は 2020 年代半ばまでに数百億ドルに急速に成長すると予測されており、その成長の多くはエッジ AI によるものです。将来のモデルを予測できる人は誰もいません。そのため、柔軟性とプログラム可能性を考慮して設計することがさらに重要になります。