ジェスチャーをすると、AIが絵文字を認識し、ブラウザ上で動作する：オープンソース

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

優れたジェスチャー認識 AIになるには何が必要ですか?

姿勢を絶えず変えて、リアルタイムで絵文字を出力できるのはかなりクールです。

それはガード（間違い）で、「スタートレック」のバルカン人の敬礼です。これは一般的には使用されず、実行するのが困難な場合もあります。

それは幸運を意味し、人々は通常両手で比較します。しかし、それは人間にとって普遍的なジェスチャーではありません。

それでも、AIはそれを巧みに識別しました。さらに、ブラウザ上でもほとんど遅延なく動作します。

AI の父親は Nick Bourdakos (略して「ニック」) という名の IBM のプログラマーです。

△ 666

Nick は、リアルタイム認識を簡単にするTensorFlow.jsを使用しています。

彼はそのアルゴリズムをオープンソースにして、誰でも試せるようにした。

たった30分

Nick 氏によると、このモデルは非常にシンプルで、 SSD-MobileNetだそうです。

MobileNet は分類用、SSD はターゲット検出用であり、これらを併用することも一般的な方法です。

彼は IBM クラウドの GPU、無料の k80を使用してトレーニングを行い、トレーニングの完了にはわずか 30 分しかかかりませんでした。

トレーニングを開始する前に、まずデータを準備する必要があります。AI はラベル付けされたジェスチャ マップをフィードします。

準備ができたので、モデルをインストールしましょう。

 1 $ npm install -g クラウドアノテーション

その後、トレーニングを開始できます。

   1 $カクリ
2 ┌──────────────────────────────┐
 3 │ (C)loud (A)nnotations (CLI) │
 4 │ バージョン1.0 . 12 │
 5 └──────────────────────────────┘
 6  
 7使用法: cacli <コマンド>
 8  
 9ここで、<command> は次のいずれかです。
 10 init 対話的にconfig.yamlファイルを作成する
11トレーニング トレーニングランを開始する
12ログ トレーニング実行のログを監視する
13進捗状況 トレーニングランの進捗状況を監視する
14リスト すべてのトレーニング実行をリストする
15ダウンロード トレーニング済みモデルをダウンロード
16  
 17cacli <cmd> -h <cmd> のクイックヘルプ

もちろん、IBM Cloud や GPU を使用する必要はありません。 CPUを使用して AI を調整することもできますが、おそらく数時間かかります。

トレーニングが完了したら、ブラウザで実行します。 GitHub プロジェクトには、TensorFlow.js モデルに変換するためのスクリプトが付属しています。

React アプリにモデルを追加します。

nmp startと入力し、ブラウザでhttp://localhost:3000を開きます。

やった、これで画面に向かって指を振ると AI が理解するようになりました:

もちろん、この賢い AI は指を認識する以上のことができます。

飲む

それはすべて、AI に入力するためにどのようなデータを使用するかによって決まります。

かつてニックは、AI がソーダを区別する能力を訓練するのを手伝いました。

質問 1 : スプライトのボトルとカナダドライのボトルはどちらも緑色です。

位置が変わっても、ボトルが横向きになっても、AIは混乱しません。見てみましょう:

質問 2 : 難易度を上げてください。どちらのボトルもマウンテンデューで、1 本は通常タイプ、もう 1 本は低糖タイプです。

AIはそれでもためらうことなく違いをはっきりと見分けることができます。

彼はジェスチャーとソーダの区別が得意です。

そこで質問ですが、 AI に何を認識させたいのでしょうか?

考えがまとまったら、調整を始めましょう。コードは次のとおりです。

https://github.com/cloud-annotations/training/

PS 何人かの友人はすでにこれをうまくテストし、簡単だと言っています。

△認識結果が絵文字で表示されるともっと良い