ニューラルネットワーク「錬金術炉」の内部構造はどのようになっているのでしょうか？オックスフォード大学の博士課程学生による論文の解釈

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

ニューラル ネットワークは錬金術の炉のようなものです。大量のデータを入力すると、魔法のような結果が生まれるかもしれません。

[[345129]]

「錬金術」の成功により、ニューラル ネットワークはこれまで見たことのないデータについても予測できるようになりました。

しかし、この場合、ニューラル ネットワークは実際には「ブラック ボックス」になります。つまり、特定の機能はあるものの、それがどのように動作するのかを見ることは不可能です。

単純な画像分類にのみ使用する場合は実際には問題ありませんが、医療分野で病気の予測に使用する場合は、ニューラルネットワークの「判断」を信頼できません。

それがどのように機能するかを理解できれば、さらに良いでしょう。

これを念頭に置いて、オックスフォード大学の博士課程の学生であるオアナ・マリア・カンブルは、大学院論文「ディープニューラルネットワークの説明」を執筆しました。

この論文では、彼女はこれらの「ブラックボックス」を一つずつ明らかにし、ニューラルネットワークの原理を詳しく説明しました。

ニューラルネットワークの「ブラックボックス」を開くのはなぜですか?

実際、ニューラル ネットワークが機能する最も直感的な理由は、ニューラル ネットワークが多数の非線形関数で構成されていることです。

これらの非線形関数により、ネットワークは元のデータ内のさまざまな抽象レベルの機能を学習できるようになります。

しかし、ニューラル ネットワークのこうした非線形関数のせいで、人間がその仕組みを理解するのが難しい場合がよくあります。

このため、ニューラル ネットワークは、病気の予測、信用限度額、刑法などの分野で「あまり人気がない」状態になっています。

医師や法律研究者は、ニューラル ネットワークが実際に病気の予測に問題を抱えていたため、線形回帰や決定木などの解釈可能なモデルを好む傾向があります。

喘息の病歴により病気の進行が特徴付けられる患者の肺炎の進行を予測するためにニューラル ネットワークが使用されました。

ニューラルネットワークは、喘息の病歴を持つ患者は肺炎で死亡する可能性が低いと予測するように訓練された。

しかし、実際には結果は正反対です。喘息自体が肺炎を悪化させる可能性があります。

喘息患者が肺炎で死亡する可能性が低いことがデータからわかる理由は、喘息が早期に検出され、肺炎に罹患した後、患者が早期に治療できるためであることが多い。

この種のニューラル ネットワークが実際に使用されると、非常に危険な結果をもたらすことになります。

さらに、ニューラル ネットワークであっても、性別による固定観念や人種による偏見を持つ可能性があります。

[[345131]]

たとえば、調査によると、一部のコーパスやモデルは再犯を予測する際に男性を「優遇」する傾向があることがわかっています。

誤った予測や人種差別、性差別に加え、ニューラル ネットワークも脆弱です。

分類アルゴリズムを欺くために画像に小さな変更を加える場合でも、音声認識を使用して NLP モデルを騙す場合でも、ニューラル ネットワークが「爆発」するケースは数多くあります。

ニューラル ネットワークをより多くの方向に応用し、その原理をより深く理解できるようにするために、著者はニューラル ネットワークを 2 つの方向から説明します。

ニューラルネットワークを説明する2つの方法

「後で説明します」

最初の方法は、特徴ベースの解釈と呼ばれ、「事後解釈」とも呼ばれます。これは、この方法では、ニューラル ネットワークがトレーニングされた後に入力特徴を解釈するためです。

この方法は、テキスト内の単語（トークン）または画像内のスーパーピクセルに対して「事後」の解釈を実行します。

この方法は現在広く使用されており、解釈の偏りが生じにくいですが、解釈方法の信頼性を検証する必要があります。

ここでの基本原理は、外部説明方法によって与えられた説明と、モデル自体によって生成された自然言語説明との間に相関関係があるかどうか、そして具体的な相関関係が何であるかを調べることです。

この論文では、説明方法の信憑性を判断するための新しい検証方法を紹介した。

ニューラルネットワークに自ら説明させる

では、ニューラル ネットワークがトレーニング中に「自分自身を説明」できるようにしたらどうなるでしょうか?

これは論文で言及されている 2 番目の方法で、予測結果を説明するために予測説明を生成するモジュールをモデルに埋め込むというものです。

ニューラルネットワーク自身の説明が正しいかどうかについては、やはり人間の判断が必要です。

ここで著者は、モデル自体が生成した説明を判断する判断方法も導入し、それによってニューラルネットワークの説明の結果を得ました。

ニューラルネットワークの詳細な構造や具体的な説明方法に興味のある方は、以下の論文アドレスを確認してください〜

著者について

[[345133]]

ルーマニア出身のオアナ・マリア・カンブルさんは現在、オックスフォード大学で機械学習と人工知能を専攻する博士課程の学生です。

高校時代に、オアナ・マリア・カンブルはIMO（国際数学オリンピック）で銀メダルを獲得しました。彼女はマックスプランク研究所と Google でインターンをしました。博士課程在学中、彼女の論文は ACL、EMNLP、IJCNLP などのトップカンファレンスで発表されました。