ファーウェイ、加算のみを使用するニューラルネットワークをオープンソース化：インターン生が開発を主導、効果は従来のCNNと同等

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

乗算のないニューラル ネットワークを想像できますか?単一ニューロンの演算であっても畳み込み演算であっても、乗算は避けられません。

ただし、乗算は加算よりもはるかに多くのハードウェア リソースを消費します。乗算を使わず加算を使うと、計算速度が大幅に向上するはずです。

昨年末、北京大学、華為ノアの方舟研究所、彭城研究所の研究者らがこのアイデアを実践し、加算のみを使用するニューラルネットワークAdderNet （加算器ネットワーク）を提案した。第一著者はHuawei Noah's Arkのインターンであり、現在は北京大学の博士課程3年生です。

本日、本論文がCVPR 2020 (Oral)に収録され、公式ソースコードがGitHub上に公開されました。興味のある学生はぜひ行って試してみるといいでしょう。

加算器ネットワークの紹介

加算器ネットワークの中核は、ユークリッド距離を L1 距離に置き換えることです。

L1 距離は、2 点間の座標差の絶対値の合計であるため、プロセス全体で乗算は行われません。

この新しい定義では、バックプロパゲーションで使用される偏微分演算も減算法になります。勾配降下法の最適化プロセスはsignSGDとも呼ばれます。

加算ネットワークの新しい定義では、特徴ベクトルの空間分布も CNN とは大きく異なります。

では、AdderNet は実際にどのように機能するのでしょうか?

CIFAR-10 画像分類タスクにおいて、AdderNet は Bengio らが提案した加法ニューラル ネットワーク BNN のパフォーマンスを大幅に向上させ、従来の CNN の結果に近づきました。

オープンソースコード

公式の AdderNet は Python3 と PyTorch に基づいています。

まず、PyTorch の公式ドキュメントに従って ImageNet データセットを準備し、プログラムを実行して検証セットへの影響を評価します。

 python test.py --data_dir 'path/to/imagenet_root/'

AdderNet は、ImageNet データセットで 74.9% の Top-1 精度と 91.7% の Top-5 精度を達成できます。

または、CIFAR-10 データセットをローカル コンピューターにダウンロードし、CIFAR-10 に対する効果をテストします。

 python test.py --dataset cifar10 --model_dir models/ResNet20-AdderNet.pth --data_dir 'path/to/cifar10_root/'

しかし、AdderNetはまだ独自にトレーニングする必要があり、同社は近々事前トレーニング済みのモデルをリリースする予定だとしている。

現段階の AdderNet には欠陥がないわけではありません。作者はプロジェクトのホームページで、AdderNet は加法フィルターで実装されているため推論速度が遅く、速度を上げるには CUDA で記述する必要があると述べています。

これは、ニューラル ネットワークの計算速度を向上させるという著者の当初の意図からは程遠いものです。

しかし、この論文の著者らは、今後も加算ニューラルネットワークに関する研究を継続し、より多くの成果を発表していくと述べています。この研究の新たな進展に期待しましょう。

Huawei Noah Labのインターン生が制作を主導

AdderNet の記事の第一著者は、同済大学数学部を卒業したChen Hanting氏です。彼は現在、北京大学情報科学技術学院で博士号取得を目指しており、Huawei Noah's Ark Laboratory でもインターンとして働いています。

修士課程と博士課程の最初の3年間で、第一著者として5本の論文を発表し、そのうちの1本「学生ネットワークのデータフリー学習」はICCV 2019に掲載されました。さらに、彼が参加した他の多くの論文は、NeurIPS、IJCAI、ICMLなどのトップカンファレンスに掲載されました。

ポータル

ソースコード: https://github.com/huawei-noah/AdderNet

論文アドレス: https://arxiv.org/abs/1912.13200