機械学習: TensorFlow 2.0 の 10 のヒント

この記事では、TensorFlow 2.0 の 10 の機能について説明します。

[[326673]]

1(a). 入力パイプラインを構築するためのtf.data API

テンソルからパイプラインを構築します。

 > > >  データセット= tf .data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
 > > > iter(データセット).next().numpy()
 8

バッチとシャッフル:

 # シャッフル
> > >  データセット= tf .data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6)
 > > > iter(データセット).next().numpy()
 0
 # バッチ
> > >  データセット= tf .data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).batch(2)
 > > > iter(データセット).next().numpy()
配列([8, 3], dtype = int32 )
 # シャッフルとバッチ
> > >  データセット= tf .data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6).batch(2)
 > > > iter(データセット).next().numpy()
配列([3, 0], dtype = int32 )

2 つのデータセットを圧縮します。

 > > >  データセット0 = tf .data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
 > > >  データセット1 = tf .data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6])
 > > >  データセット= tf .data.Dataset.zip((データセット0, データセット1))
 > > > iter(データセット).next()
 ( < tf.Tensor:   shape =()、 dtype = int32 、 numpy = 8 > 、 < tf.Tensor:  形状= (), dtype = int32 、 numpy = 1 > )

外部関数のマッピング:

 def into_2(数値):
     数値 * 2 を返す
> > >  データセット= tf .data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).map(into_2)
 > > > iter(データセット).next().numpy()
 16

1(b). イメージデータジェネレータ

これは、tensorflow.keras API の最も優れた機能の 1 つです。 ImageDataGenerator は、バッチ処理と前処理中にデータセットのスライスとデータ拡張をリアルタイムで生成できます。

ジェネレーターを使用すると、ディレクトリまたはデータフレームから直接データストリームにアクセスできます。

ImageDataGenerator でのデータ拡張に関する誤解の 1 つは、既存のデータセットにさらにデータが追加されるというものです。これはデータ拡張の実際の定義ですが、ImageDataGenerator では、データセット内の画像はトレーニング中のさまざまなステップで動的に変換されるため、モデルはこれまで見たことのないノイズの多いデータでトレーニングできます。

 train_datagen =イメージデータジェネレータ(
再スケール= 1 ./255、
せん断範囲= 0.2 、
ズーム範囲= 0.2 、
水平反転= True  
 ）

ここでは、すべてのサンプルが（正規化のために）再スケーリングされ、他のパラメータは拡張のために使用されます。

 train_generator = train_datagen.flow_from_directory (
        「データ/トレーニング」、
ターゲットサイズ= (150, 150)、
バッチサイズ= 32 、
 class_mode = 'バイナリ'  
 ）

リアルタイムデータストリームのディレクトリを指定します。これはデータフレームを使用して実行することもできます。

 train_generator =データフレームからのフロー(
    データフレーム、
 x_col = 'ファイル名' 、
 y_col = 'クラス' 、
 class_mode = 'カテゴリ' 、
バッチサイズ= 32  
 ）

x_col パラメータは画像への完全なパスを定義し、y_col パラメータは分類に使用するラベル列を定義します。

steps_per_epoch パラメータを指定する必要がありますが、実際には number_of_samples // batch_size です。

モデル.フィット(
    列車ジェネレータ、
検証データ= val_generator 、
エポック= EPOCHS 、
 steps_per_epoch = (num_samples // batch_size)、
検証ステップ= (num_val_samples // バッチサイズ)
 ）

2. tf.image を使用したデータ拡張

データが不十分な場合は、データを変更して個別のデータポイントとして使用することが、より少ないデータでトレーニングを行う非常に効果的な方法です。

tf.image API には画像を変換するためのツールがあります。次の Python の例を参照してください。

反転= tf .image.flip_left_right(画像)
視覚化する(画像、反転)

 飽和= tf .image.adjust_saturation(画像、5)
視覚化する(画像、飽和)

回転= tf .image.rot90(画像)
視覚化(画像、回転)

切り取られた= tf .image.central_crop(画像、 central_fraction = 0 .5)
視覚化(画像、切り抜き)

3. TensorFlowデータセット

pip で tensorflow-datasets をインストールします

これは、Tensorflow によって収集されたよく知られたデータセットが含まれているため、非常に便利なライブラリです。

 tensorflow_datasets を tfds としてインポートする
mnist_data = tfds.load ("mnist")
 mnist_train、 mnist_test = mnist_data ["train"]、mnist_data["test"]
 isinstance(mnist_train、tf.data.Dataset) をアサートする

tensorflow-datasets で利用可能なデータセットの詳細なリストは、ドキュメントのデータセットページにあります。

オーディオ、画像、画像分類、オブジェクト検出、構造化、要約、テキスト、翻訳、ビデオはすべて tfds によって提供されるタイプです。

4. 転移学習に事前学習済みモデルを使用する

転移学習は機械学習の分野における新しいトレンドであり、TensorFlow は、目的のユースケースに合わせて簡単に拡張できる、ベンチマーク済みの事前トレーニング済みモデルを提供します。

ベースモデル= tf .keras.applications.MobileNetV2(
 input_shape = IMG_SHAPE 、
 include_top = False 、
重み= 'imagenet'  
 ）

この base_model は、追加のレイヤーや異なるモデルを使用して簡単に拡張できます。のように：

モデル= tf .keras.Sequential([
    ベースモデル、
    グローバル平均レイヤー、
    予測レイヤー
])

tf.keras.applications の下にある他のモデルまたはモジュールの詳細なリストについては、ドキュメントページを参照してください。

5. 推定値

推定器は TensorFlow の完全なモデルの高レベル表現であり、簡単にスケーリングして非同期的にトレーニングできるように設計されています。

組み込みの推定器は非常に高レベルのモデル抽象化を提供するため、モデルの複雑さを気にすることなく、モデルのトレーニングに直接集中できます。例えば：

 linear_est = tf.estimator.LinearClassifier (
機能列機能列=機能列
）
線形推定のトレーニング(train_input_fn)
結果= linear_est .evaluate(eval_input_fn)

TensorFlow には、LinearRegressor、BoostedTreesClassifier など、多くの組み込み推定器があります。見積もりもカスタマイズできます。

6. カスタムレイヤー

ニューラルネットワークは多層ネットワークとして知られており、層はさまざまなタイプにすることができます。 TensorFlow には、多くの定義済みレイヤー (Dense、LSTM など) が含まれています。しかし、より複雑なアーキテクチャの場合、レイヤーのロジックはさらに複雑になる可能性があります。 TensorFlow では、tf.keras.layers.Layer クラスをサブクラス化することでカスタムレイヤーを構築できます。

クラス CustomDense(tf.keras.layers.Layer):
    def __init__(self, num_outputs):
        super(CustomDense、self).__init__()
自己.num_outputs = num_outputs 
 
    def build(self, input_shape):
自己self.kernel = self.add_weight(
            "カーネル"、
形状= [int(入力形状[-1]),
            自己.num_outputs]
        ） 
 
    def call(self, 入力):
        tf.matmul(入力、self.kernel) を返します。

カスタムレイヤーを実装する最良の方法は、tf.keras.Layer クラスを拡張することです。

__init__ は入力に関係なくすべての初期化を実行できます。
ビルドすると、入力テンソルの形状がわかり、残りの初期化を実行できます。
呼び出して、順方向の計算を実行します。

カーネルの初期化は __init__ で実行できますが、ビルドで実行した方がよいでしょう。そうしないと、新しいレイヤーを作成するたびに input_shape を明示的に指定する必要があります。

7. カスタマイズされたトレーニング

tf.keras シーケンスおよびモデル API を使用すると、モデルのトレーニングが容易になります。ただし、複雑なモデルをトレーニングする場合は、ほとんどの場合、カスタム損失関数が使用されます。さらに、モデルのトレーニングもデフォルトと異なる場合があります (たとえば、異なるモデルコンポーネントに個別に勾配を適用するなど)。

TensorFlow の自動微分化は、勾配を効率的に計算するのに役立ちます。 Python の例は次のとおりです。

 def train(モデル、入力、出力、学習率):
    tf.GradientTape() を t として使用します:
        # モデル予測からの損失の計算
current_loss = loss(出力、モデル(入力))
    # 得られた損失を持つ訓練可能な変数の勾配
    dW、 db = t.gradient （現在の損失、[モデル.W、モデル.b]）
    # 重みにグラデーションを適用する
    モデル.W.assign_sub(学習率 * dW)
    model.b.assign_sub(学習率 * db)

このサイクルは複数のエポックで繰り返すことができ、ユースケースに応じて他のカスタマイズされた設定を使用することもできます。

8. チェックポイント

TensorFlow モデルの保存には 2 つの方法があります。

SavedModel: モデルの完全な状態とすべてのパラメータを保存します。

 model.save_weights('チェックポイント')

チェックポイント

チェックポイントは、機械学習モデルで使用されるすべてのパラメータの正確な値をキャプチャします。 Sequential API または Model API を使用して構築された機械学習モデルは、SavedModel 形式で簡単に保存できます。

ただし、カスタムモデルの場合はチェックポイントが必要です。

チェックポイントには、モデルによって定義された計算の説明は含まれていないため、通常はソースコードが利用可能な場合にのみ役立ちます。

チェックポイントを保存します:

 checkpoint_path = "save_path"
 # チェックポイントの定義
ckpt = tf .train.Checkpoint(モデルモデル= モデル、オプティマイザーオプティマイザー= オプティマイザー)
 # CheckpointManager オブジェクトの作成
ckpt_manager = tf .train.CheckpointManager(ckpt、checkpoint_path、 max_to_keep = 5 )
 # モデルの保存
ckpt_manager.save()

チェックポイントをロードします:

TensorFlow は、ロードされたオブジェクトから開始して、名前付きエッジを持つ有向グラフをトラバースすることにより、変数をチェックポイント値に一致させます。

 ckpt_manager.latest_checkpointの場合:
    ckpt.restore(ckpt_manager.latest_checkpoint)

9. ケラスチューナー

これは TensorFlow のかなり新しい機能です。

 !pip keras-tuner をインストールします

ハイパーパラメータチューニングは、機械学習モデルの構成を定義するパラメータを選択するプロセスです。これらは、特徴エンジニアリングと機械学習モデルのパフォーマンスを決定する要因です。

 # model_builderはモデルを構築して返す関数です
チューナー= kt .ハイパーバンド(
    モデルビルダー、
目標= 'val_accuracy' 、
最大エポック= 10 、
係数= 3 、
ディレクトリ= 'my_dir' 、
プロジェクト名= 'intro_to_kt'  
 ）

HyperBand に加えて、BayesianOptimization と RandomSearch もチューニングに使用できます。

チューナー.検索(
    画像_train、ラベル_train、
エポック= 10 、
検証データ= (img_test, label_test),
コールバック= [ClearTrainingOutput()]
 ） 
 
 # 最適なハイパーパラメータを取得する
best_hps = tuner.get_best_hyperparameters ( num_trials = 1 )[0]

次に、最適なハイパーパラメータを使用してモデルをトレーニングします。

モデル=チューナー.hypermodel .build(best_hps)
モデル.フィット(
    画像_列車、
    ラベル_トレイン、
エポック= 10 、
検証データ= (画像テスト、ラベルテスト)
 ）

10. 分散トレーニング

複数の GPU があり、複数の GPU にトレーニングを分散してトレーニングを最適化したい場合は、TensorFlow のさまざまな分散トレーニング戦略によって GPU の使用を最適化し、GPU 上でトレーニングを行うことができます。

tf.distribute.MirroredStrategy は最もよく使用される戦略です。どのように機能しますか?

すべての変数とモデルグラフがレプリカにコピーされます。
入力はレプリカ全体に均等に分散されます。
各レプリカは、受信した入力の損失と勾配を計算します。
勾配は、すべてのレプリカを合計することによって同期されます。
同期後、各レプリカ上の変数のコピーに対して同一の更新が行われます。

戦略= tf.distribute.MirroredStrategy ()
 strategy.scope() を使用する場合:
モデル= tf .keras.Sequential([
        tf.keras.layers.Conv2D(
            32, 3、アクティベーション= 'relu' 、入力形状= (28, 28, 1)
        ）、
        tf.keras.layers.MaxPooling2D()、
        tf.keras.layers.Flatten()、
        tf.keras.layers.Dense(64,アクティベーション= 'relu' )、
        tf.keras.layers.dense(10) の続きを読む
    ]) 
 
    モデル.コンパイル(
損失= "sparse_categorical_crossentropy" 、
オプティマイザー= "adam" 、
メトリック= ['精度']
    ）