人工ニューラルネットワークは生物学的ニューロンの「厚み」を活用できるでしょうか? 5階から8階が限界ではないかもしれない

[[422275]]

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

私たちの柔らかい脳はコンピュータープロセッサのチップとは非常に異なっているように見えるかもしれませんが、科学者たちはこの2つを比較してきた長い歴史を持っています。アラン・チューリングは 1952 年にこう言いました。「私たちは脳の粘稠度には興味がありません。脳は冷たいお粥のようなものだからです。」つまり、媒体は重要ではなく、計算能力が重要なのです。

今日の最も強力な AI システムは、相互接続されたノードの多数の隠し層を適応させてデータを適合させ、ディープ ニューラル ネットワークと呼ばれるネットワークを形成するアルゴリズムであるディープラーニングに基づく機械学習アプローチを使用しています。名前が示すように、ディープ ニューラル ネットワークは脳内の実際のニューラル ネットワークにヒントを得たもので、これらのディープ ニューラル ネットワークのノードは実際のニューロンをモデルにしています。 1950 年代に神経科学者がニューロンについて学んだことに基づいて、影響力のあるニューロン モデルがパーセプトロンと呼ばれました。それ以来、個々のニューロンの計算の複雑さに関する理解は徐々に深まってきました。生物ニューロンが人工ニューロンよりも複雑であることは周知の事実ですが、その複雑さはどの程度なのでしょうか。未知。

1. 1つの生物学的ニューロンは5～8層の人工ニューラルネットワークに匹敵する

それを調べるために、エルサレム・ヘブライ大学のデビッド・ベニアグエフ、イダン・セゲフ、マイケル・ロンドンは、人工のディープニューラルネットワークを訓練し、生物学的ニューロンの計算を模倣した。この研究は、「ディープ ニューラル ネットワークでは、単一の生物学的ニューロンの複雑さを表現するために、相互接続された 5 ～ 8 層の人工ニューロンが必要である」ことを示している。

「もっとシンプルで小さいものだと思っていた」とベニアグエフ氏は語った。ベニアグエフ氏もこの複雑さを予想していませんでした。彼は、セル内で実行される計算を捕捉するには 3 層または 4 層で十分だと予想していました。

「新たな研究結果は、脳内のニューロンと機械学習の文脈におけるニューロンを不正確に比較するという古い慣習を再考する必要があるかもしれないことを示唆している」と、グーグル傘下のAI企業ディープマインドで意思決定アルゴリズムを設計するティモシー・リリクラップ氏は述べた。同氏は「この論文は、人々がこの問題についてより慎重に考え、どの程度まで類推できるかを理解する上で本当に役立つ」と考えている。

最も基本的な類似点は、入力情報を処理する方法にあります。どちらのタイプのニューロンも入力信号を受信し、この情報を使用して独自の信号を他のニューロンに送信するかどうかを決定します。人工ニューロンは単純な計算に基づいて意思決定を行いますが、数十年にわたる研究により、生物学的ニューロンのプロセスは比較的複雑であることが明らかになっています。

計算神経科学者は、入出力関数を使用して、生物学的ニューロンの長い枝 (樹状突起) が受信した情報と、ニューロンが送信することを決定する信号との関係をモデル化します。

新しい研究の著者らは、人工のディープニューラルネットワークを使用してこの機能を模倣し、関係の複雑さを判断しました。彼らはまず、マウスの大脳皮質にある錐体ニューロンと呼ばれる、上部と下部に異なる樹状突起の枝を持つニューロンの入出力機能の大規模なシミュレーションを実行した。次に、シミュレーション結果を、層ごとに最大 256 個の人工ニューロンを備えたディープ ニューラル ネットワークに入力し、シミュレーションされたニューロンの入力と出力の間で数ミリ秒で 99 パーセントの精度を達成するまで層の数を増やし続けました。

最終的に、ディープ ニューラル ネットワークは脳ニューロンの入出力機能の動作を予測することに成功し、その結果、ディープ ニューラル ネットワークには相互接続された人工「ニューロン」の層が少なくとも 5 層あるが、8 層以下であることが示されました。ほとんどのネットワークでは、1 つの生物学的ニューロンは約 1,000 個の人工ニューロンに相当します。

神経科学者は現在、左側の錐体ニューロンなどの個々のニューロンの計算の複雑さは、入力信号によって攻撃される樹状突起の枝に依存することを知っています。ニューロンが独自の信号「スパイク」を送信するかどうかを決定する前に、局所的な電圧の変化を引き起こします。これはニューロンの色の変化によって表され、赤は高電圧、青は低電圧を表します。この「スパイク」は、図の右側の枝の軌跡に示されているように 3 回発生し、色は上 (赤) から下 (青) までの樹状突起の位置を表します。

——デビッド・ベニアグエフ

「（この成果は）生物ニューロンと人工ニューロンの架け橋となる」とベイラー医科大学の計算神経科学者、アンドレアス・トリアス氏は語った。

研究論文の著者の一人であるロンドン氏は、「人工ニューラルネットワークの層の数とネットワークの複雑さの関係は明白でも直接的でもない」と警告した。そのため、4層から5層に増やすことで複雑さがどの程度増加するかを正確に言うことはできない。また、人工ニューロンが 1,000 個あるからといって、生物学的ニューロンの複雑さが人工ニューロンの複雑さのちょうど 1,000 倍であるとは言えません。おそらく、各層に複数の人工ニューロンを使用し、最終的に生物学的ニューロンに適合する 1 つの層のみを持つディープ ニューラル ネットワークを形成できるでしょう。もちろん、アルゴリズムの学習にはより多くのデータと学習時間が必要になる可能性があります。

「私たちはさまざまな深さやユニットを備えたさまざまなアーキテクチャを試しましたが、そのほとんどは失敗しました」とロンドン氏は語った。

研究の著者らは、より少ないレイヤーによる解決策を他の人が見つけられるよう促すためにコードを共有した。しかし、生物学的ニューロンを 99% の精度で模倣できるディープ ニューラル ネットワークを見つけるのは難しいことが判明しました。したがって、著者らは、その結果がさらなる研究のための有意義な比較を提供すると確信している。

リリクラップ氏は、この発見が画像分類ネットワークを脳に結び付ける新しい方法を提供する可能性があると考えている。画像分類ネットワークには通常 50 層以上が必要です。各生物学的ニューロンを 5 層の人工ニューラル ネットワークで近似すると、50 層の画像分類ネットワークは生物学的ネットワークの実際のニューロン 10 個に相当します。

この研究の著者らはまた、その研究結果が AI 分野における現在の最先端のディープ ネットワーク アーキテクチャの改善に活用されることを期待しています。

「脳の働きに近づくために、ディープ ニューラル ネットワークの単純なユニットを生物学的ニューロンを表すユニットに置き換えることを提案します」とセゲブ氏は指摘する。この代替案では、AI 研究者やエンジニアは、各人工ニューロンの代わりに 5 層のディープ ネットワークを「ミニ ネットワーク」として挿入できる。

2.疑問と肯定がある

しかし、この研究が実際に人工知能に有益であるかどうかについては懐疑的な人もいる。

「この比較で実際に計算上の優位性があるかどうかは未解決の問題だと思う」とメリーランド州ボルチモアのコールド・スプリング・ハーバー研究所の神経科学者アンソニー・ザドール氏は言う。「しかし、この研究はそれを検証するための基礎を築くものだ」

この新しい論文は、人工知能への応用を超えて、樹状突起と個々の生物学的ニューロンの強力な計算能力についてのますます高まるコンセンサスに加わるものである。 2003 年には、3 人の神経科学者が、錐体ニューロンの樹状突起を 2 層の人工ニューラル ネットワークとしてモデル化することで、複雑なシミュレーション計算を実行できることを示しました。この新しい論文では、著者らは、錐体ニューロンのどの特徴（構造）が 5 ～ 8 層のディープ ニューラル ネットワークの複雑さを高めるのかを調査しています。その秘密は樹状突起と、その表面にある化学伝達物質を受け取る特定の受容体にあると研究者らは結論付けた。この発見は、この分野におけるこれまでの研究結果と一致する。

この結果は、神経科学者が個々の生物学的ニューロンの研究にもっと重点を置くべきであることを意味していると考える人もいる。

「この論文は、樹状突起と個々のニューロンについての考え方をこれまで以上に重要なものにする」とペンシルベニア大学の計算神経科学者コンラッド・コーディング氏は述べた。

リリクラップ氏とザドール氏は、回路内のニューロンに焦点を当てることは、脳が個々のニューロンの計算の複雑さをどのように利用するかを学ぶ上で同様に重要であると主張している。

いずれにせよ、人工ニューラルネットワークの研究は、生物学的ニューロンと脳の謎に対する新たな洞察をもたらす可能性がある。

「この研究は、層、深さ、幅の観点から考えることで、計算の複雑さを直感的に理解することを可能にします」とロンドン大学ユニバーシティ・カレッジの計算神経科学者、グレース・リンゼイ氏は語った。

しかし、リンゼイ氏は、この新たな研究はまだ単なるモデルの比較に過ぎないとも警告した。残念ながら、神経科学者が実際のニューロンの入出力機能を完全に記録することは現時点では不可能であるため、生物学的ニューロン モデルでは捉えられないものがさらに存在する可能性があります。言い換えれば、実際のニューロンははるかに複雑である可能性が高いです。

「5階から8階が本当に最終的な限界なのかは分からない」とロンドン氏は語った。