TensorFlow ワイド＆ディープラーニングチュートリアル

TensorFlow ワイド＆ディープラーニングチュートリアル

[[211918]]

この記事では、TF.Learn API を使用して、ワイド線形モデルとディープ フィードフォワード ニューラル ネットワークを同時にトレーニングする方法を説明します。このアプローチは、記憶と一般化の利点を組み合わせたものです。これは、スパースな入力特徴 (つまり、カテゴリ特徴には可能な値の大きなドメインがある) を持つ一般的な大規模回帰および分類の問題に適しています。ワイド ラーニングとディープ ラーニングの仕組みについて詳しく知りたい場合は、研究論文「Wide & Deep Spectrum of Models」を参照してください。では、簡単な例を見てみましょう。

上の図は、ワイド モデル (スパースな特徴と変換プロパティを持つロジスティック回帰モデル)、ディープ モデル (1 つの埋め込み層と複数の隠し層を持つフィードフォワード ニューラル ネットワーク)、ワイドおよびディープ モデル (2 つのモデルの共同トレーニング) の違いを示しています。大まかに言えば、TF.Learn API を使用してワイド、ディープ、またはワイドとディープのモデルを構成する手順は 3 つだけです。

  1. 幅部分の特徴を選択: 使用するスパース ベース列とクロス列を選択します。

  2. 深度部分の機能を選択します。連続列、各カテゴリ列の埋め込み次元、および隠し層のサイズを選択します。

  3. これらを組み合わせて、幅広く深いモデル (DNNLinearCombinedClassifier) を作成します。

インストール

このチュートリアルのコードを試してみたい場合は、次の手順に従ってください。

1. TensorFlow をインストールします。こちらにアクセスしてください。

2. チュートリアル コードをダウンロードします。

3. pandas データ分析ライブラリをインストールします。このチュートリアルでは pandas データを使用する必要があるためです。 tf.learn は pandas を必要としませんが、pandas をサポートしています。 pandasをインストールします:

a. pip を取得します。

  1.  # Ubuntu/Linux 64ビット 
  2.  $ sudo apt-get install python-pip python-dev 
  3.  
  4.  # Mac OS X
  5.  $ sudo easy_install pip
  6.  $ sudo easy_install --upgrade 6 を実行します 

b. pipを使用してpandasをインストールする

  1. $ sudo pip パンダをインストール

インストールに問題がある場合は、pandas の Web サイトの指示に従ってください。

4. チュートリアルで説明されている線形モデルをトレーニングするには、次のコマンドを実行します。

  1.  $ python wide_n_deep_tutorial.py --model_type=wide_n_deep  

このコードがどのように線形モデルを構築するかを確認してください。

基本的な機能列を定義する

まず、使用する基本的なカテゴリ機能と連続機能の列を定義します。これらの列は、モデルの幅と深さの両方の部分の構成要素として機能します。

  1. テンソルフローをtfとしてインポートする
  2.  
  3. 性別 = tf.feature_column.categorical_column_with_vocabulary_list(
  4.  「性別」 , [ 「女性」 , 「男性」 ])
  5. 教育 = tf.feature_column.categorical_column_with_vocabulary_list(
  6.  "教育" 、 [
  7.  「学士」 、 「高校卒業」 、 「11年生」 、 「修士」 、 「9年生」 、
  8.  「大学中級」 、 「准学士号」 、 「准職業学位」 、 「7～8年生」 、
  9.  「博士号」 、 「専門学校」 、 「5-6年生」 、 「10年生」 、 「1-4年生」 、
  10.  「幼稚園」 、 「12年生」  
  11.  ])
  12. 婚姻状況 = tf.feature_column.categorical_column_with_vocabulary_list(
  13.  "配偶者の有無" 、 [
  14.  「既婚配偶者」 、 「離婚」 、 「既婚配偶者不在」 、
  15.  「未婚」 、 「別居」 、 「既婚配偶者」 、 「死別」  
  16.  ])
  17. 関係 = tf.feature_column.categorical_column_with_vocabulary_list(
  18.  "関係" 、 [
  19.  「夫」 、 「家族外」 、 「妻」 、 「自分の子」 、 「未婚」 、
  20.  「その他の親戚」  
  21.  ])
  22. ワーククラス = tf.feature_column.categorical_column_with_vocabulary_list(
  23.  「労働者階級」 、[
  24.  「自営業者（非株式会社）」 、 「民間」 、 「州政府」 、 「連邦政府」 、
  25.  「地方自治体」 、 「？」 、 「自営業」 、 「無給」 、 「働いたことがない」  
  26.  ]) 
  27.  
  28.  # ハッシュの例を示す:
  29. 職業 = tf.feature_column.categorical_column_with_hash_bucket(
  30.  「職業」 、hash_bucket_size=1000)
  31. ネイティブ国 = tf.feature_column.categorical_column_with_hash_bucket(
  32.  "native_country" 、hash_bucket_size=1000) 
  33.  
  34.  # 継続的なギレアデ
  35. 年齢 = tf.feature_column.numeric_column( "年齢" )
  36. 教育番号 = tf.feature_column.numeric_column( "教育番号" )
  37. 資本ゲイン = tf.feature_column.numeric_column( "資本ゲイン" )
  38. 資本損失 = tf.feature_column.numeric_column( "資本損失" )
  39. 週あたりの時間 = tf.feature_column.numeric_column( "週あたりの時間" ) 
  40.  
  41.  ＃ 変換
  42. age_buckets = tf.feature_column.bucketized_column(
  43.  年齢、境界=[18、25、30、35、40、45、50、55、60、65])

ワイドモデル: 交差した特徴列を持つ線形モデル

ワイド モデルは、スパースで交差した特徴列を持つ線形モデルです。

  1. ベース列 = [
  2.  性別、出身国、教育、職業、労働者階級、関係、
  3.  age_buckets、
  4.  ] 
  5.  
  6. 交差列 = [
  7.  tf.feature_column.crossed_column(
  8.  [ "教育" 、 "職業" ]、hash_bucket_size=1000)、
  9.  tf.feature_column.crossed_column(
  10.  [age_buckets、 "学歴" 、 "職業" ]、hash_bucket_size=1000)、
  11.  tf.feature_column.crossed_column(
  12.  [ "出身国" 、 "職業" ]、ハッシュバケットサイズ=1000)
  13.  ]

交差した特徴列を持つワイドモデルは、特徴間のスパースな相互作用を効果的に記憶できます。つまり、交差した特徴列は、トレーニング データに出現しなかった特徴の組み合わせに一般化することはできません。埋め込みを使用してディープモデルを追加してこれを修正しましょう。

ディープモデル: 組み込みニューラルネットワーク

ディープモデルは、前の図に示すように、フィードフォワード ニューラル ネットワークです。それぞれのスパースな高次元カテゴリ特徴は、まず、埋め込みベクトルと呼ばれることが多い低次元の密な実数値ベクトルに変換されます。これらの低次元の密な埋め込みベクトルは連続的な特徴と連結され、フォワードパスでニューラル ネットワークの隠し層に送られます。埋め込み値はランダムに初期化され、他のモデルパラメータと一緒にトレーニングされ、トレーニング損失を最小限に抑えます。埋め込みについてさらに詳しく知りたい場合は、チュートリアル「単語のベクトル表現」を参照するか、Wikipedia の「単語の埋め込み」をお読みください。

embedding_column を使用してカテゴリ埋め込み列を設定し、連続列と連結します。

  1. 深い列 = [
  2.  tf.feature_column.indicator_column(ワーククラス)、
  3.  tf.feature_column.indicator_column(教育)、
  4.  tf.feature_column.indicator_column(性別)、
  5.  tf.feature_column.indicator_column(関係)、
  6.  # 埋め込みの例を示す
  7.  tf.feature_column.embedding_column(ネイティブ国、次元=8)、
  8.  tf.feature_column.embedding_column(職業、次元=8)、
  9.  年、
  10.  教育番号、
  11.  キャピタルゲイン、
  12.  資本損失、
  13.  週あたりの時間、
  14.  ]

埋め込みの次元が高くなるほど、モデルがこれらの特徴の表現を学習するために必要な自由度が高くなります。簡単にするために、すべての特徴列の次元を 8 に設定します。経験則として、次元から始める最良の方法は、\log_{2}(n) または k\sqrt[4]{n} の値から始めることです。ここで、n は特徴列内の一意の特徴の数、k は小さな定数 (通常は 10 未満) です。

高密度埋め込みにより、ディープモデルはより適切に一般化され、トレーニング データで以前に遭遇しなかった特徴についてより適切な予測を行うことができます。しかし、2 つの特徴列間の基になる相互作用行列がスパースかつ高ランクである場合、特徴列の効果的な低次元表現を学習することは困難です。この場合、いくつかの例外を除いて、ほとんどの特徴ペア間の相互作用はゼロになるはずですが、密な埋め込みにより、すべての特徴ペアの予測がゼロ以外になるため、過度に一般化される可能性があります。一方、交差特徴を持つ線形モデルは、より少ないモデルパラメータでこれらの「異常なルール」を効果的に記憶できます。

それでは、ワイドモデルとディープモデルを共同でトレーニングして、それぞれの長所と短所を活用する方法を見てみましょう。

ワイドモデルとディープモデルの組み合わせ

ワイド モデルとディープ モデルは、最終出力のログ オッズを予測として組み込むことによって結合され、その後、ロジスティック損失関数に入力されます。グラフの定義と変数の割り当てはすべて完了しているので、DNNLinearCombinedClassifier を作成するだけです。

  1. 一時ファイルをインポートする
  2. model_dir = tempfile.mkdtemp()
  3.  m = tf.contrib.learn.DNNLinearCombinedClassifier(
  4.  model_dir=モデル_dir、
  5.  linear_feature_columns=ワイド列、
  6.  dnn_feature_columns=ディープ列、
  7.  dnn_hidden_​​units=[100, 50])

モデルのトレーニングと評価

モデルをトレーニングする前に、TensorFlow 線形モデル チュートリアルで行ったように、国勢調査データセットを読んでください。 入力データ処理のコードも便宜上提供されています。

  1.  pandasをpdとしてインポートする
  2. urllibをインポートする
  3.  
  4.  # データセットの列名を定義する
  5. CSV_COLUMNS = [
  6.  「年齢」 、 「労働階級」 、 「職位」 、 「教育」 、 「教育番号」 、
  7.  「婚姻状況」 、 「職業」 、 「関係」 、 「人種」 、 「性別」 、
  8.  「資本増加」 、 「資本損失」 、 「週あたりの時間」 、 「母国」 、
  9.  「所得区分」  
  10.  ] 
  11.  
  12.  def maybe_download(train_data, test_data):
  13.  "" "トレーニング データをダウンロードし、トレーニング ファイルとテスト ファイルの名前を返します。" ""  
  14.  train_dataの場合:
  15.  トレーニングファイル名 = トレーニングデータ
  16. それ以外：
  17.  train_file = tempfile.NamedTemporaryFile(削除= False )
  18.  urllib.request.urlretrieve() は、
  19.  「https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data」 、
  20.  train_file. name ) # pylint:disable=line-too-long
  21.  列車ファイル名 =列車ファイル名 
  22.  トレーニングファイルを閉じる( )
  23.  print( "トレーニングデータは%sにダウンロードされました" % train_file_name) 
  24.  
  25.  test_dataの場合:
  26.  テストファイル名 = テストデータ
  27. それ以外：
  28.  test_file = tempfile.NamedTemporaryFile(削除= False )
  29.  urllib.request.urlretrieve() は、
  30.  「https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.test」 、
  31.  test_file. name ) # pylint: 無効 = 行が長すぎる
  32.  テストファイル名 =テストファイル名 
  33.  test_file.close ( )関数
  34.  print( "テストデータは%sにダウンロードされました" % test_file_name) 
  35.  
  36.  train_file_name、test_file_nameを返す
  37.  
  38.  def input_fn(データファイル、エポック数、シャッフル):
  39.  「入力ビルダー関数」  
  40.  df_data = pd.read_csv(
  41.  tf.gfile.Open (データファイル)、
  42.  名前=CSV_COLUMNS、
  43.  skipinitialspace= True 、
  44.  エンジン = "python" 、
  45.  スキップ行数=1)
  46.  # NaN要素を削除する
  47.  df_data = df_data.dropna(how= "any" 、 axis=0)
  48.  ラベル = df_data[ "income_bracket" ].apply(lambda x: ">50K"   x ).astype( int )内
  49. tf.estimator.inputs.pandas_input_fn(を返す
  50.  x=df_data、
  51.  y=ラベル、
  52.  バッチサイズ=100、
  53.  num_epochs=num_epochs、
  54.  シャッフル=シャッフル、
  55.  スレッド数=5)

データを読み取った後、モデルをトレーニングして評価できます。

  1.  # エポックを最大化するにはnum_epochsをNoneに設定します
  2. m.train(
  3.  input_fn=input_fn(train_file_name, num_epochs=None, shuffle= True ),
  4.  ステップ=train_steps)
  5.  # すべてのデータが消費される前に評価を実行するには、ステップをなしに設定します
  6. 結果 = m.evaluate(
  7.  input_fn=input_fn(テストファイル名、num_epochs=1、シャッフル= False )、
  8.  ステップ=なし)
  9.  print( "モデルディレクトリ = %s" % model_dir)
  10. のために 鍵 ソート済み(結果):
  11.  print( "%s: %s" % (キー, 結果[キー]))

出力の最初の行は、accuracy: 0.84429705 のようになります。ワイド＆ディープ モデルを使用すると、ワイド線形モデルの精度が約 83.6% から約 84.4% に向上することがわかります。エンドツーエンドの実際の例を確認したい場合は、サンプル コードをダウンロードできます。

このチュートリアルは、API にすぐに慣れるための、小さなデータベースを使用した単純な例であることに注意してください。まばらな特徴列と多数の可能な特徴値を持つ大規模なデータセットがある場合、ワイド ラーニングとディープ ラーニングはさらに強力になります。また、ワイドラーニングとディープラーニングが実際に大規模な機械学習にどのように適用されているかについて詳しく知るには、当社の研究論文にご注目ください。

<<:  AIのために知っておくべき10のディープラーニング手法

>>:  2018 年に人工知能を変える 5 つのビッグデータ トレンド

ブログ    
ブログ    
ブログ    
ブログ    

推薦する

マイクロソフトは小売業界で新たなスキルを解き放つために人工知能を推進

NRF 2024: Retail’s Big Show に先立ち、マイクロソフト社は、ショッピング体...

...

「人工知能＋ヘルスケア」は有望な未来を秘めている

現在、医療分野における人工知能の応用には、医用画像診断、健康管理、医療研究が含まれます。最近、国立神...

データコレクターでリアルタイム機械学習に TensorFlow を使用する方法

【51CTO.com クイック翻訳】ビジネス ユーザーとアプリケーションがさまざまなソースからの生デ...

百度の主任科学者アンドリュー・ン氏が辞任を発表

[[186234]] 3月22日、百度のトップ科学者アンドリュー・ン氏は、英語のセルフメディアプラッ...

...

テクノロジー大手が自動運転市場への参入を急いでいる背景に、あなたが知らないことは何でしょうか?

ファーウェイは最近、「自動運転ネットワークソリューション白書」を発表しました。これは、将来のネットワ...

AI 株神: 機械学習を使って株価を予測するには?

この記事は、公開アカウント「Reading the Core」（ID: AI_Discovery）か...

エージェントは初めて人間のような感覚を持ち、ハンバーガーを触って熱いか冷たいかを判断します。 UCLAなどが3Dマルチモーダルインタラクティブ具現化知能モデルをリリース

具現化された知能は、ビッグモデルの将来の応用にとって重要な方向性です。現在、大規模なモデルでサポート...

テスラのオプティマスロボットプロジェクトは強化学習などの分野でエンジニアを募集している

テスラは11月1日、強化学習の専門家を含むヒューマノイドロボットプロジェクト「オプティマス」のエンジ...

SVM のマップ削減データマイニングアルゴリズム

元のアルゴリズムに並列戦略を適用するのは難しいため、他のアルゴリズムのバリアントである pegaso...

左手にビッグデータ、右手に人工知能。これらのプログラマーは、パンデミック中に何をしたのでしょうか?

今年初めの流行は、特にCOVID-19の非常に感染力が強い性質により、適切な免疫ワクチンがない中で原...

...

研究者：AIモデルの「推論」はより多くの電力を消費し、業界の電力消費は2027年に「オランダに匹敵する」ようになる

今週10月13日、Cellの姉妹誌Jouleは「人工知能の増大するエネルギーフットプリント」と題する...

...