省エネ1000倍！人間の脳のようなニューラルチップはAIモデルの実行時に大幅な電力節約が可能

現在最も成功している人工知能アルゴリズムである人工ニューラルネットワークは、人間の脳内の実際のニューラルネットワークの複雑な接続を大まかにシミュレートできます。しかし、人間の脳の高いエネルギー効率と比較すると、消費電力が多すぎます。

こうして、人間の脳の動作メカニズムと物理法則をより忠実に模倣する技術、ニューロモルフィックコンピューティングが誕生しました。ただし、デバイスの不一致の問題により、シミュレートされたニューロンの特性は設計とはわずかに異なり、電圧と電流のレベルもニューロンごとに異なります。対照的に、AI アルゴリズムは同一のデジタルニューロンを備えたコンピューターでトレーニングされます。
そのため、実際にニューロモルフィックチップ上で動作させると、「順応」などの問題が頻繁に発生します。 2022年1月に米国科学アカデミー紀要に掲載された論文で、この問題を回避する方法が明らかになった。

論文リンク: https://www.pnas.org/content/119/4/e2109194119

スイスのフリードリヒ・ミーシャー生物医学研究所の研究員フリードマン・ゼンク氏とドイツのハイデルベルク大学の研究員ヨハネス・シメル氏からなるチームは、スパイキング・ニューラル・ネットワークと呼ばれるタイプのAIアルゴリズムで新たな進歩を遂げた。スパイキングニューラルネットワークは、人間の脳を模倣した特徴的なパルス AC 信号を使用し、ニューロモルフィックチップ上で実行して、チップ内のデバイスの不一致を補正する方法を学習します。この論文は、AI におけるニューロモルフィックコンピューティングに向けた重要な一歩です。

ニューラルネットワークのシミュレーション

既存の AI 実行デバイスとは異なり、ニューロモルフィックコンピューティングでは、CPU とメモリカード間で長距離にわたってデータを転送しません。ニューロモルフィックチップの設計は、人間の脳のゼリー状のインフラストラクチャを模倣し、コンピューティングユニット (ニューロン) をストレージユニット (ニューロンを接続するシナプス) の隣に配置します。設計を人間の脳に近づけるため、研究者らはニューロモルフィックチップとアナログコンピューティングを組み合わせ、実際のニューロンのように連続信号を処理できるようにしました。

結果として得られるチップは、0 と 1 の基本的なバイナリ信号の処理に依存する現在のデジタルコンピューティングモデルおよびアーキテクチャとは大きく異なります。ニューロモルフィックチップは、人間の脳を設計ガイドとして使用することで、将来的には AI などの大規模データ処理タスクの高エネルギー消費を解消すると期待されています。残念ながら、AI アルゴリズムはアナログ版のニューロモルフィックチップではうまく動作しません。これは、デバイス不一致と呼ばれる欠陥が原因です。製造プロセス中に、チップ内のニューロンをシミュレートする小さなコンポーネントのサイズが一致しません。単一のチップでは最新の AI トレーニングプロセスを実行するのに十分な性能がないため、アルゴリズムは従来のコンピューターで事前にトレーニングする必要があります。しかし、アルゴリズムがチップに転送されると、アナログハードウェアが問題と一致しなくなると、アルゴリズムは完全に暗闇に陥ります。

人間の脳の設計に基づいたコンピューティングモデルは、デジタルコンピューティングではなくアナログコンピューティングです。この違いは微妙ですが、非常に重要です。デジタルコンピューティングは、人間の脳の脈拍信号の 2 進的な側面のみを効果的に表現できます。つまり、ニューロンを通過する電気信号として、脈拍信号は 2 進状態 (出力されるか出力されないか、つまり 0 と 1 の差) を持ちます。

しかし、実際には人間の脳細胞には電圧変化があるため、細胞内の電圧が細胞外の電圧よりもある程度高い特定の閾値を超えると、パルスが出力されます。このように、一定時間内は連続的にパルスが出力され、パルスの出力を決定するニューロンの状態も連続的であり、実はアナログ信号の状態です。「アナログ状態は、人間の脳がどのように機能するかという核心的な美しさを体現しています」と、スイスのETHチューリッヒのニューロモルフィック工学研究者、シャーロット・フレンケル氏は語る。「人間の脳のこの重要な側面をうまくエミュレートすることが、ニューロモルフィック・コンピューティングの主な推進力の一つとなるでしょう。」 2011年、ハイデルベルク大学の研究者グループは、神経科学実験用に脳をシミュレートするために、アナログとデジタルの両方の状態を持つニューロモルフィックチップの開発を開始しました。

それ以来、研究チームはチップの新バージョン「BrainScaleS-2」をリリースしており、このチップでは、シミュレートされた各ニューロンが脳細胞の入出力電流と電圧の変化をシミュレートします。しかし、この材料の伝導特性は実際の脳とは異なるため、このチップは人間の脳よりも1,000倍高速です。

新しい研究では、スパイキングニューラルネットワークは、チップをアルゴリズムのトレーニングプロセスに組み込むことで、BrainScale S-2チップ上の電圧差を修正する方法を学習することができました。デバイスの不一致の問題に対処するため、研究チームは、コンピューターと対話するために勾配置換と呼ばれる学習方法を使用する、パルスニューラルネットワーク専用の新しい方法も開発しました。勾配置換は、ニューロン間の接続を継続的に変更することで、ニューラルネットワークがタスクを実行する際に発生するエラーの数を最小限に抑えます (非スパイクニューラルネットワークで使用されるバックプロパゲーションに似ています)。

勾配置換は、コンピューターでのトレーニングプロセス中にチップの欠陥を修正することができます。まず、スパイキングニューラルネットワークは、チップ上のシミュレートされたニューロンからのさまざまな電圧を使用して単純なタスクを実行し、電圧の記録をコンピューターに送り返します。次に、アルゴリズムは、シミュレートされたニューロンと引き続きうまく機能するようにニューロン間の接続を最適に変更する方法を自動的に学習し、学習しながらチップ上のニューロンを継続的に更新します。最後に、トレーニングが完了すると、スパイキングニューラルネットワークはチップ上でタスクをスムーズに実行できるようになります。

研究者らは、このニューラルネットワークが、コンピュータ上でタスクを実行する最先端のスパイキングニューラルネットワークと同等の音声および視覚タスクの精度を達成したと述べている。言い換えれば、アルゴリズムはデバイスの不一致の問題を克服するためにどのような変更を加える必要があるかを正確に学習します。「このシステムは予想通り、驚くほどエネルギー効率が良い。標準的なプロセッサの約1,000分の1のエネルギーで動作する」とサセックス大学の計算神経科学者トーマス・ノボトニー氏は語った。しかし、フレンケル氏は、ニューロモルフィックチップは、同様の音声認識や視覚認識タスク向けに特別に最適化されたハードウェアに対して、まだその実力を証明する必要があると指摘しました。ノボトニー氏はまた、このアプローチでは依然としてコンピューターとチップ間でデータをやり取りする必要があるため、大規模な実用的なタスクに拡張するのは難しいかもしれないと指摘している。チームの最終的な目標は、従来のコンピューターを必要とせずに、パルスニューラルネットワークをニューロモルフィックチップ上で最初から最後までトレーニングおよび実行できるようにすることです。しかし、必要な新世代のチップを設計し、製造するには何年もかかる可能性があります。