データセットを正しく分割するにはどうすればいいでしょうか? 3つの一般的な方法の概要

データセットをトレーニングセットに分割すると、モデルを理解するのに役立ちます。これは、モデルが新しい未知のデータにどのように一般化されるかを理解するために重要です。モデルが過剰適合されている場合、新しい未知のデータにうまく一般化されない可能性があります。したがって、正確な予測を行うことは不可能です。

適切な検証戦略を持つことは、優れた予測を作成し、AI モデルのビジネス価値を活用するための第一歩です。この記事では、一般的なデータ分割戦略をいくつか紹介します。

シンプルなトレーニングとテストの分割

データセットはトレーニングと検証の 2 つの部分に分かれており、80% がトレーニング用、20% が検証用です。これを行うには、Scikit のランダムサンプリングを使用できます。

まず、ランダムシードを修正する必要があります。そうしないと、比較して同じデータ分割を取得できず、デバッグ中に結果を再現できなくなります。データセットが小さい場合、検証分割がトレーニング分割と相関しないという保証はありません。データのバランスが取れていない場合、同じ分割比率を得ることはできません。

したがって、単純な分割は開発とデバッグにのみ役立ちますが、実際のトレーニングは十分に完璧ではありません。そのため、次の分割方法がこれらの問題の解決に役立ちます。

K 分割交差検証

データセットを k 個のパーティションに分割します。下の画像では、データセットは 5 つのパーティションに分割されています。

1 つのパーティションが検証データセットとして選択され、他のパーティションはトレーニングデータセットとして選択されます。これにより、異なるパーティションのセットごとにモデルがトレーニングされます。

最終的に、K 個の異なるモデルが取得され、これらのモデルは統合された方法を使用して、その後の推論と予測に一緒に使用されます。

Kは通常[3,5,7,10,20]に設定されます。

低いバイアスでモデルのパフォーマンスを確認したい場合は、より高いKを使用します[20]。変数選択のためのモデルを構築する場合は、低いk [3,5]を使用するとモデルの分散が低くなります。

アドバンテージ：

モデル予測を平均化することで、同じ分布から抽出された未知のデータに対するモデルのパフォーマンスを向上させることができます。
これは、優れた生産モデルを取得するために広く使用されているアプローチです。
さまざまなアンサンブル手法を使用して各データセットの予測を作成し、これらの予測を使用してモデルを改善することができます。これを OOF (アウトフォールド予測) と呼びます。

質問：

不均衡なデータセットがある場合は、Stratified-kFold を使用します。
すべてのデータセットでモデルを再トレーニングした場合、そのパフォーマンスを k-Fold を使用してトレーニングされたモデルと比較することはできません。このモデルはデータセット全体ではなく、k-1 でトレーニングされているためです。