少数ショット学習（１） — 機械学習におけるタスク最適化空間

[[401868]]

今日のディープラーニングの成功には大量のデータが必要であり、これは不可欠な前提条件です。私たちがトレーニングしたモデルはすべて経験を経ており、非常に優れたパフォーマンスを達成しています。しかし、現実には十分なデータを集めるのは簡単ではありません。今日はこの問題をもとにFew-shot Learningについて学びます。

上記の式はモデルを推定するために使用されます。通常、モデルによって学習される関数 h に式 x を入力します。この L は予測値と真の値の差を表し、この差をデータ サンプル全体に積分して関数 h の適合度を評価します。

上記の式は、R(h)を最小化する関数hを見つけるために使用できます。実際には、すべてのモデルとパラメータを走査することは不可能であるため、関数セットを制限して、空間全体でのモデルの探索範囲を狭める必要があります。ここでHは関数セットを定義すること、つまり全体の空間の中で特定の空間を分割し、モデル探索問題をこの空間に限定することを意味します。関数セットHはVGG、ResNetなどになります。関数セットが複雑であるほど、関数表現能力が強くなり、空間全体に占める範囲が広くなり、水色の円が大きくなり、探索時間も長くなります。実際のところ、サンプルの確率分布も不明であり、収集したサンプルはデータの一部にすぎません。

ここで、最適な関数の検索を H 空間に限定する必要があります。データp(x,y)の確率分布も不明であることはすでにわかっています。全体の分布を推定できるのは一定数のサンプルだけであり、当然ながらその際には誤差が生じます。

データ セット全体の確率分布は不明であるため、データ セット全体を表すために I サンプルが使用されます。このデータはモデルのトレーニングに使用されます。

そして、このようなデータセット上で、限られた空間内で最適な関数が検索され、緑色のブロックは、検索されたモデルの検索空間全体における位置を示すために使用されます。

次に、黄色のスタートから検索空間で検索を開始し、I サンプルのデータ セットで関数 h 添え字 l 全体を取得します。オレンジ色の点線は、実際のモデルと推定モデルの間のギャップを表します。

実際、ここでの誤差は近似誤差と推定誤差から生じます。

最初のステップは関数セットを選択することです。では関数セットとは何でしょうか? たとえば、VGG、ResNet、DenseNet は関数セット H と見なすことができます。アルゴリズム全体で制御できるのは I と H です。したがって、H の複雑さを増やす、つまり H 空間を拡張して I を増やすことはできますが、通常、収集できる実際の I は非常に小さくなります。

• したがって、現在、過剰適合の問題を解決する最も直接的な方法は、数を増やすこと、つまり I (データ) を増やすことです。
• つまり、Hにいくつかの制約を追加して検索空間（モデル）を狭める
• もう一つは、適切な初期値（アルゴリズム）を与えることです。