再トレーニングなしでモデルを6倍圧縮：数学者チームが新しい量子化法を提案

RUDN大学の数学者チームは、再トレーニングに余分なリソースを費やすことなく、ニューラルネットワークのサイズを6分の1に縮小できる新しい方法を発見しました。

ニューラル ネットワークの圧縮とは、ニューラル ネットワークのパフォーマンスに大きな影響を与えずに、適切な方法によってネットワークのパラメーターとストレージ スペースを削減することを指します。これは、近似、量子化、およびプルーニングの 3 つのカテゴリに大別できます。

ロシア人民友好大学（RUDN）の数学者チームは、再トレーニングに追加のリソースを費やすことなく、トレーニング済みのニューラルネットワークのサイズを6分の1に縮小する方法を発見した。この方法は、初期システムとその簡略化されたバージョンにおけるニューラル接続の重み間の相関関係を見つけることに基づいています。この研究の結果は「Optical Memory and Neural Networks」誌に掲載されました。

人工ニューラルネットワークと生体内のニューロンの構造は同じ原理に基づいています。ネットワーク内のノードは相互接続されており、一部のノードは信号を受信し、一部のノードはチェーン内の次の要素をアクティブ化または抑制することによって信号を送信します。画像や音声などの信号を処理するには、多くのネットワーク要素とそれらの間の接続が必要です。ただし、コンピュータ モデルにはモデル容量とストレージ スペースが限られています。大量のデータを処理するために、この分野の研究者は、いわゆる量子化を含む、モデルのパワーに対する要求を軽減するさまざまな方法を発明する必要がありました。これにより、リソースの消費量は削減されますが、システムの再トレーニングが必要になります。 RUDN 大学の一部の数学者は、後者は回避できることを発見しました。

「数年前、私たちはホップフィールド ネットワークで効果的かつコスト効率の高い重み量子化を実行しました。これは、ヘブの規則に従って形成された要素間の対称的な接続を持つ連想記憶ネットワークです。動作中、ネットワークのアクティビティは特定の平衡状態にまで低下し、この状態に達するとタスクは解決されたとみなされます。この研究で得られた洞察は、後に、今日の画像認識で非常に人気のあるフィードフォワード ディープラーニング ネットワークに適用されました。通常、これらのネットワークは量子化後に再トレーニングする必要がありますが、私たちは再トレーニングを回避する方法を見つけました」と、RUDN 大学のニコルスキー数学研究所の助教授である Iakov Karandashev 博士は述べています。

人工ニューラル ネットワークを簡素化する主な考え方は、重みあたりのビット数を削減するという、いわゆる重み量子化です。量子化は信号の平均化を提供します。たとえば、これを画像に適用すると、同じ色の異なる色合いを表すすべてのピクセルが同一になります。数学的には、これは、特定のパラメータを持つ類似の神経接続は同じ重み (または重要度) を持ち、同じ数値で表される必要があることを意味します。

RUDN大学の数学者チームが計算を行い、量子化の前後のニューラル ネットワークの重み間の相関関係を効果的に確立する数式を作成しました。これを基に、科学者たちは訓練されたニューラルネットワークが画像を分類できるアルゴリズムを開発しました。この研究の実験では、数学者らは1,000のグループに分けられる50,000枚の写真を含むデータセットを使用した。トレーニング後、ネットワークは新しい方法を使用して量子化され、再トレーニングは行われません。次に、この研究では実験結果を他の量子化アルゴリズムと比較しました。

RUDN 大学の Iakov Karandashev 氏は次のように付け加えています。「量子化後、分類精度はわずか 1% 低下しましたが、必要なストレージ容量は 6 分の 1 に削減されました。実験では、初期重みと量子化された重みの間に強い相関関係があるため、ネットワークを再トレーニングする必要がないことが示されました。このアプローチは、時間に敏感なタスクを完了する場合や、モバイル デバイスでタスクを実行する場合にリソースを節約するのに役立ちます。」