DJL [ディープラーニング]を正しく開く方法

[[350239]]

この記事はWeChatの公開アカウント「小明野菜市場」から転載したもので、著者は小明野菜市場です。記事を転載する場合は小明野菜市場の公式アカウントまでご連絡ください。

序文

Java は長い間、豊富なフレームワークと完全なエコシステムを備えた非常に人気のあるエンタープライズプログラミング言語でした。 Java には巨大な開発者コミュニティがあります。ディープラーニングアプリケーションは進歩と進化を続けていますが、Java 向けの関連するディープラーニングフレームワークは非常に不足しています。現在、主要なモデルは Python でコンパイルおよびトレーニングされています。Java 開発者がディープラーニングを学習したい場合は、新しい言語の洗礼を受ける必要があります。 Java 開発者のディープラーニングのコストを削減するために、AWS は、Java 開発者向けにカスタマイズされたオープンソースのディープラーニングフレームワークである Deep Java Library (DJL) を構築しました。これは、開発者が主流のディープラーニングフレームワークに接続するためのインターフェイスを提供します。

ディープラーニングとは

始める前に、まず機械学習とディープラーニングの基本的な概念を理解してください。機械学習は、統計的知識を使用してコンピューターにデータを入力し、特定のターゲットタスクをトレーニングして完了させるプロセスです。この帰納的学習方法により、コンピューターは特定の機能を学習し、写真内のオブジェクトの識別など、一連の複雑なタスクを実行できます。ディープラーニングは、人間の脳がどのように学習し目標を達成するかを研究して得られた計算ロジックのセットである人工ニューラルネットワークの開発に重点を置いた機械学習の分野です。人間の脳神経間の情報伝達プロセスをシミュレートすることで、さまざまな複雑なタスクを実現できます。ディープラーニングの深さは、人工ニューラルネットワークの多くの層のコンパイルと構築から生まれ、より深いレベルでデータ情報を伝達できます。

MNIST手書き数字認識のトレーニング

プロジェクト構成

gradle 設定を使用して依存パッケージを導入し、DJL の api パッケージと basicdataset パッケージを使用してニューラルネットワークとデータセットを構築します。この場合、ディープラーニングエンジンとして MXNet を使用するため、mxnet-engine と mxnet-native-auto パッケージが導入されます。依存関係は次のとおりです。

プラグイン {
    id 'java'  
 }
リポジトリ {
    jcenter()
 }
依存関係 {
    実装プラットフォーム( "ai.djl:bom:0.8.0" )
    実装"ai.djl:api"  
    実装"ai.djl:basicdataset"  
    // MXネット
    ランタイムのみ"ai.djl.mxnet:mxnet-engine"  
    ランタイムのみ"ai.djl.mxnet:mxnet-native-auto"  
 }

NDArry と NDManager

NDArray は、データ構造と数学演算を格納するための DJL の基本構造です。NDArray は固定長の多次元配列を表します。NDArray の使用方法は、Python の numpy.ndarry に似ています。 NDManager は NDAry のマネージャーであり、NDAry の生成とリサイクルを管理する役割を担い、Java メモリの最適化に役立ちます。各 NDAry は NDManager によって作成され、NDManager が閉じられると、それらも一緒に閉じられます。

モデル

DJL では、トレーニングと推論の両方が Model クラスから構築されます。ここでは、主にトレーニングプロセスの構築方法に焦点を当てます。次に、Model の新しいターゲットを作成します。Model も AutoClosable 構造を継承するため、try ブロックで実装されます。

 (モデルモデル = Model.newInstance()) を試してください {
    ...
    // 本体トレーニングコード
    ...
 }

データを準備する

MNIST データベースには、通常、画像処理システムのトレーニングに使用される手書き数字の画像が多数含まれています。DJL は、基本データセットデータに MNIST データを収集しました。各 MNIST 画像のサイズは 28 * 28 です。独自のデータセットがある場合は、同じ方法でデータを収集することもできます。

データセットのインポートチュートリアル http://docs.djl.ai/docs/development/how_to_use_dataset.html#how-to-create-your-own-dataset

 int batchSize = 32; // バッチサイズ
Mnist トレーニングデータセット = Mnist.builder()
        .optUsage(Usage.TRAIN) // トレーニング セット
        .setSampling(バッチサイズ、 true )
        。建てる（）;
 Mnist 検証データセット = Mnist.builder()
        .optUsage(Usage.TEST) // 検証セット
        .setSampling(バッチサイズ、 true )
        。建てる（）;

このコードは、それぞれトレーニングセットと検証セットを作成します。また、トレーニングを向上させるために、データセットをランダムに配置します。これらの構成に加えて、画像のサイズや正規化の設定など、画像に関するその他の設定を行うこともできます。

モデルを作りブロックを作成する

データセットの準備ができたら、ニューラルネットワークを構築できます。DJL では、ニューラルネットワークはブロックコードブロックで構成されます。ブロックは、複数のニューラルネットワーク特性を持つ構造です。これらは、動作中のニューラルネットワークの一部、または完全なニューラルネットワークを表すことができます。その後、ブロックは順次または並列に実行できます。同時に、ブロック自体にもパラメータとサブブロックを含めることができます。このネストされた構造は、保守可能なニューラルネットワークを迅速に更新するのに役立ちます。トレーニングプロセス中、各ブロックに添付されたパラメータはリアルタイムで更新され、そのサブブロックも同時に更新されます。これらのブロックを構築する場合、最も簡単な方法は、ブロックを 1 つずつネストし、用意されている DJL ブロックタイプを直接使用して、さまざまなニューラルネットワークをすばやく作成することです。

ブロックバリアント

いくつかの基本的なニューラルネットワークの動作モードに応じて、いくつかのブロックバリアントを提供します。

SequentialBlock は、次のブロックを出力して実行を継続するために使用されます。
Parallelblock は、各サブブロックに入力を並列に供給し、特定のマージ式に従って出力結果をマージするために使用されます。
Lambdablock は、ユーザーがすばやく操作を実行できるようにするブロックです。パラメーターがないため、トレーニングプロセス中に更新される部分はありません。

多層パーセプトロンMLPニューラルネットワークの構築

シンプルな多層パーセプトロンニューラルネットワークを構築します。多層パーセプトロンは、完全に接続された層がいくつかあるシンプルな順方向ニューラルネットワークです。このネットワークを構築するには、sequentialblockを直接使用できます。

 int input = 28 * 28; // 入力レイヤーのサイズ
整数  output = 10; // 出力レイヤーのサイズ
int [] hidden = new int [] {128, 64}; // 隠しレイヤーのサイズ
シーケンシャルブロック シーケンシャルブロック = 新しいシーケンシャルブロック();
 sequentialBlock.add (Blocks.batchFlattenBlock(入力));
 ( int隠しサイズ: 隠し) {
    //完全に接続された層
    sequentialBlock.add (Linear.builder().setUnits(hiddenSize).build());
    // 活性化関数
    sequentialBlock.add (アクティベーション);
 }
 sequentialBlock. add (Linear.builder().setUnits( output ).build());

提供されているMLPブロックを直接使用することができます

ブロックブロック = 新しいMlp(
        Mnist.IMAGE_HEIGHT * Mnist.IMAGE_WIDTH、
        Mnist.NUM_CLASSES、
        新しいint [] {128, 64});

電車

以下の手順に従ってください。

トレーニングプロセスの初期化を完了します。各ブロックのパラメータを初期化します。各パラメータを初期化する関数は、set 初期化子によって決定されます。順方向伝播: このステップでは、入力データをニューラルネットワークの層ごとに渡し、出力データを生成します。損失の計算: 特定の損失関数損失に従って、出力とラベル付けされた結果間の偏差を計算します。バックプロパゲーション: このステップでは、損失の逆導関数を使用して各パラメータの勾配が計算されます。重みを更新すると、選択したオプティマイザーに従ってブロック上の各パラメータの値が更新されます。

合理化

DJL は、Trainer 構造を使用してプロセス全体を簡素化します。開発者は、Trainer を作成し、対応する初期化子、損失、および最適化子を指定するだけで済みます。これらのパラメータは、TrainingConfig によって設定されます。パラメータ設定を見てみましょう。 TrainingListener は、トレーニングプロセス中に設定されるリスナーであり、各ステージのトレーニング結果に関するリアルタイムのフィードバックを提供できます。これらの結果は、トレーニングプロセスを記録したり、ニューラルネットワークのトレーニング中に発生した問題をデバッグするために使用できます。ユーザーは独自のTrainingListenerをカスタマイズしてトレーニングプロセスを監視できます。

 DefaultTrainingConfig 設定 = 新しい DefaultTrainingConfig(Loss.softmaxCrossEntropyLoss())
    .addEvaluator(新しい精度())
    トレーニング リスナーを追加します。
 （トレーナーtrainer = model.newTrainer(config)）を試してください{
    // トレーニングコード
}

トレーニングが生成されたら、入力シェイプを定義し、トレーニング用のgit関数を呼び出すと、結果がローカルディレクトリに保存されます。

 /*
 * MNIST には 28x28 のグレースケール画像が含まれており、28 * 28 NDArray としてインポートされます。
 * 最初の次元はバッチ サイズです。ここでは初期化のためにバッチ サイズを 1 に設定します。
 */
シェイプ inputShape = new Shape(1, Mnist.IMAGE_HEIGHT * Mnist.IMAGE_WIDTH);
 numEpochの値は 5 です。
文字列 outputDir = "/build/model" ; 
 
 // 入力でトレーナーを初期化する
トレーナーを初期化します(inputShape); 
 
 TrainingUtils.fit(トレーナー、numEpoch、トレーニングセット、validateSet、出力ディレクトリ、 「mlp」 );

出力結果グラフ

[INFO] - libmxnet.dylib をダウンロードしています...
 [INFO] - トレーニング対象: cpu()。
 [INFO] - MXNet エンジン バージョン 1.7.0 を0.131 ミリ秒で読み込みます。
トレーニング: 100% |████████████████████████████████████████████| 精度: 0.93、SoftmaxCrossEntropyLoss: 0.24、速度: 1235.20 項目/秒
検証中: 100% |███████████████████████████████████████████████|
 [INFO] - エポック 1 が終了しました。
 [INFO] - トレーニング: 精度: 0.93、SoftmaxCrossEntropyLoss: 0.24
 [INFO] - 検証: 精度: 0.95、SoftmaxCrossEntropyLoss: 0.14
トレーニング: 100% |███████████████████████████████████████████| 精度: 0.97、SoftmaxCrossEntropyLoss: 0.10、速度: 2851.06 項目/秒
検証中: 100% |███████████████████████████████████████████████|
 [INFO ] - エポック 2 終了。NG [1 分 41 秒]
 [INFO] - トレーニング: 精度: 0.97、SoftmaxCrossEntropyLoss: 0.10
 [INFO] - 検証: 精度: 0.97、SoftmaxCrossEntropyLoss: 0.09
 [INFO] - 列車 P50: 12.756 ミリ秒、P90: 21.044 ミリ秒
[INFO] -前方P50: 0.375 ms、P90: 0.607 ms
 [情報] - トレーニングメトリクス P50: 0.021 ms、P90: 0.034 ms
 [INFO] - 後方 P50: 0.608 ms、P90: 0.973 ms
 [INFO] - ステップ P50: 0.543 ms、P90: 0.869 ms
 [情報] - エポック P50: 35.989 秒、P90: 35.989 秒