ニューラルネットワークのデバッグは難しすぎる。6つの実用的なヒントをご紹介します

ニューラル ネットワークに基づくプロジェクトにおけるボトルネックは通常、ネットワークの実装ではありません。場合によっては、大量のコードを記述し、大量のハイパーパラメータ構成を試した後でも、ネットワークが機能しないことがあります。特に、何百万ものパラメータに直面した場合、小さな変更がこれまでの努力をすべて台無しにする可能性があります。

さまざまな問題に直面した後、ニューラル ネットワークのデバッグのコストを削減することを望んで、ニューラル ネットワークのデバッグに役立つ実用的なヒントをまとめた人もいます。

[[405264]]

勾配の問題を確認する

場合によっては、勾配が問題の原因となることがあります。グラデーションに関連するデバッグ方法をいくつか紹介します。

• 各重みの勾配を数値的に計算します。これは「勾配チェック」と呼ばれることが多く、勾配が正しく計算されていることを確認するのに役立ちます。これを行う 1 つの方法は、有限差分を使用することです。
• 各重みの大きさを勾配の大きさと比較します。サイズの比率が適切であることを確認してください。勾配の大きさが重みの大きさよりもはるかに小さい場合、ネットワークのトレーニングには長い時間がかかります。勾配の大きさが重みの大きさとほぼ同じかそれより大きい場合、ネットワークは非常に不安定になり、まったくトレーニングされない可能性があります。
• 爆発または消失するグラデーションがないか確認します。勾配が 0 または nan/infinity になった場合は、ネットワークが正しくトレーニングされていないことがわかります。まず、爆発/消失勾配が発生する理由、ステップ数が多すぎるかどうかを把握する必要があります。勾配が爆発/消失する理由がわかったら、勾配をより適切に伝播するために残差接続を追加したり、単にネットワークを小さくしたりするなど、これを修正するためのさまざまな解決策があります。
• 活性化関数は、勾配の爆発/消失を引き起こすこともあります。シグモイド活性化関数への入力が大きすぎる場合、勾配は 0 に非常に近くなります。時間の経過に伴う活性化関数への入力を確認し、勾配が常にゼロになったり、非常に大きくなったりしないことを確認します。

トレーニングプロセスを確認する

ネットワークのトレーニングの進行状況を頻繁に確認すると、時間を節約できます。 Snake ゲームのトレーニングを例にとると、ネットワークを数日間トレーニングしてネットワークが何かを学習したかどうかを確認する代わりに、現在学習した重みを使用して 10 分ごとにゲームを実行します。数時間後、毎回同じことをして報酬がゼロになっていることに気づいたら、何かが間違っている可能性があるとわかり、これにより数日分のトレーニング時間を節約できました。

定量的な成果に頼らない

定量的な出力だけを見ると、有用なデバッグ情報を見逃してしまう可能性があります。たとえば、音声翻訳ネットワークをトレーニングする場合、評価関数が減少しているかどうかを確認するだけでなく、翻訳された音声を読んで意味が通じるかどうかを確認することが重要です。画像認識用のネットワークをトレーニングする場合は、ネットワークによって提供されるラベルを必ず手動で確認してください。

定量的な出力に依存すべきでない理由は 2 つあります。まず、評価関数にエラーがある可能性があります。エラー評価関数によって出力された数値だけを見ると、何かが間違っていることに気づくまでに数週間かかる場合があります。第二に、ニューラル ネットワークの出力には定量的に表示できないエラー パターンが存在する可能性があります。特定の単語が常に間違って翻訳されていることに気付いたり、左上象限の画像認識ネットワークが常に間違っていることに気付いたりするかもしれません。これらの観察は、そうでなければ気付かれないデータ処理コードのバグを見つけるのに役立ちます。

小さなデータセットを試す

コードにバグがあるかどうか、またはデータのトレーニングが困難かどうかを判断する別の方法は、データセットを 100,000 個のトレーニング例から 100 個または 1 個のトレーニング例に削減するなど、最初により小さなデータセットを適合させることです。 1 つのトレーニング例に対して、ネットワークのテスト エラーが依然として高く、データにうまく適合しない場合は、ネットワーク コードに問題がある可能性がほぼ確実です。

よりシンプルなネットワークを試す

フルサイズのネットワークをトレーニングするのが難しい場合は、レイヤー数が少なく、より高速にトレーニングできる小規模なネットワークを使用してみてください。フルサイズのネットワークが失敗したところで小規模ネットワークが成功した場合、フルサイズ モデルのネットワーク アーキテクチャが複雑すぎることが示唆されます。シンプル ネットワークとフルサイズ ネットワークの両方が失敗する場合は、コードにバグがある可能性があります。

フレームワークを使ってみる

機械学習フレームワークを使用してニューラル ネットワークをコーディングしなかった場合は、同じネットワーク アーキテクチャを機械学習フレームワークでコーディングすることで、何が問題だったのかを確認できます。次に、print ステートメントを非フレームワーク バージョンとフレームワーク バージョンに配置し、print ステートメントが異なる場所、つまりエラーがある場所が見つかるまで、出力をレイヤーごとに比較します。バックプロパゲーション中にエラーが発生した場合は、最後のレイヤーから始めて、差異が見つかるまでレイヤーごとに重みの勾配を印刷できます。しかし、この方法はネットワークの最初の反復にのみ機能します。これは、最初の反復の出力の違いにより、2 回目以降の反復では開始点が異なるためです。

参考: https://towardsdatascience.com/debugging-tips-for-neural-networks-f7dc699d6845

[この記事は51CTOコラム「Machine Heart」、WeChatパブリックアカウント「Machine Heart（id:almosthuman2014）」によるオリジナル翻訳です]

この著者の他の記事を読むにはここをクリックしてください