自然言語処理 (NLP) はコンピューター ビジョン (CV) よりも開発が遅く、より困難です。

[[248743]]

1. 先を行くNLP

NLP 開発の歴史は非常に古く、コンピュータが発明されて以来、人々は言語処理を必要としてきました。コンピュータの歴史を通じて、さまざまな文字列アルゴリズムが使用されてきました。偉大なチョムスキーは、人間が言語を処理するための最も基本的なフレームワークである生成文法、オートマトン（正規表現）、ランダム文脈自由構文木、文字列マッチングアルゴリズム KMP、動的プログラミングを提唱しました。

スパム分類などのテキスト分類などの NLP タスクは非常に早い段階で成熟しており、Naive Bayes は優れた結果を達成できます。 20 年前は、純粋な統計と規則を使用して機械翻訳が可能でした。比較すると、CV 分野では、当時 MNIST 分類はまだ完了していませんでした。

1990 年代には、情報検索の発展により BM25 などの一連のテキスト マッチング アルゴリズムが提案され、Google などの検索エンジンの発展により NLP は頂点に達しました。 CV分野に比べると、ちょっと暗いですね。

2. 特徴抽出が難しいCV

CVの前身は画像処理という分野で、画像の圧縮やフィルタリング、エッジ抽出などを研究し、レナという美女を毎日いじっていた。

コンピューター ビジョンの初期の分野では、特徴抽出の難しさに悩まされていました。HOG もさまざまな手動の特徴抽出方法も、あまり良い結果を達成できませんでした。

大規模な商用化は困難です。同時に、NLP における手動機能 + SVM が非常に人気になりました。

3. ディープラーニングの台頭 - 自動特徴抽出

近年、非常に人気のあるディープラーニング モデルは、次のように簡単にまとめることができます。

ディープラーニング = 特徴抽出器 + 分類器

これにより、CV では手動で特徴を抽出するのが難しいという問題が解決され、CV は爆発的に進歩しました。ディープラーニングの考え方は、モデルがデータから特徴抽出を自動的に学習し、手動で抽出するのが難しい多くの特徴を生成することです。

4. NLPの知識のジレンマ

このディープラーニングの波の中で NLP が進歩していないわけではありませんが、そのブレークスルーは CV ほど大きくありません。多くのテキスト分類タスクでは、非常に複雑な双方向 LTSM を使用した場合の効果は、手動で特徴 + SVM を実行する場合とそれほど変わらない可能性があります。SVM は高速かつコンパクトで、大量のデータを必要とせず、GPU も必要ありません。多くのシナリオでは、ディープラーニング モデルは必ずしも SVM や GBDT などの従来のモデルよりも優れているわけではありません。

NLP のより大きな課題は、知識のジレンマにあります。 CV の知覚知能とは異なり、NLP は認知知能です。認知には必然的に知識の問題が伴い、知識は最も離散的で表現が難しいものです。