AI が「想像」による入力を支援: 携帯電話やコンピューターのソフトキーボードもブラインド入力が可能で、精度は 95% です。

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

機械学習を使用すると、ソフトキーボードがなくても入力できます。

なぜ？想像によって。

最近の研究では、韓国科学技術院が、完全に想像力に頼ったキーボード「I-Keyboard」を提案しました。このインターフェースでは、ソフトキーボード上の文字のレイアウト、形状、サイズは確認できません。

機械学習技術を使用することで、タッチスクリーンのどの領域からでも高い精度で入力できます。

研究者らは、この新しいタッチタイピングキーボードにより、ほとんどの人が従来の仮想キーボードと比較して 95.84% の精度を達成できると主張しています。

ビルドシステム

このシステムを構築する最初のステップは、人間がソフトキーボードに入力することなく、タッチ位置のデータセットを見つけることです。

研究者らは、QWERTYキーボードを頻繁に使用するボランティア43人を募集し、彼らのデータを用いてデータセットを構築した。いわゆる QWERTY キーボードは、通常のコンピューターや携帯電話の 26 キー入力方式の文字レイアウトです。

ボランティアは研究者の指示に従って、Twitter と 20 のニュースデータセットからランダムに選択された 150～160 の文章を含むいくつかの定型文を入力する必要があり、正式な開始前に 15 の文章でウォーミングアップが行われました。

最終的に、各参加者は約 15 分かけて合計 7,245 個のフレーズと 196,194 回のキーストロークを入力しました。

論文で紹介されている携帯電話機器は以下のとおりです。

△ データ収集装置

画面には特定の入力指示が表示されます (図 a)。このプロセス中は、Delete キーと Enter キー以外のプロンプトは画面に表示されません。暗い入力インターフェイスは次のようになります (図 b)。

研究者らは位置情報を収集した後、データを正規化し、位置のオフセットを除去しました。

研究者たちは、ボランティアが「ブラインドタイピング」をする際に識別した文字の配置は水平に並んでいるのではなく、特定の分布曲線を描いていることを発見した。

△アルゴリズム「脳サプリ」のキーボード配布

そこで、これらの調査を行った後、研究者らは 3 つのモジュールで構成される I-Keyboard のシステム アーキテクチャを設計しました。

ユーザーインタラクションモジュール、準備モジュール、および通信層。

まず、システムはタッチ スクリーンまたはタッチ インターフェイスを通じて入力を受け取ります。

一方、データ準備モジュールは情報を前処理し、生の入力をフォーマットします。

最後に、機械学習フレームワークとアプリケーション フレームワークを緊密に統合する通信層が情報を処理し、ディープ ニューラル デコーダー (DND) が入力情報を文字列に変換し、タイピストが入力する内容を予測する役割を担います。

△ I-Keyboard システムアーキテクチャ図

展開システム

システムの構築後、研究者らは MacBook Pro に I-Keyboard を導入し、システムのパフォーマンスをテストしました。

研究者たちはフレーズセットからランダムに20のフレーズを選択し、参加者に1分あたり45.47語の速度で入力するよう依頼しました。

この入力速度は固定ではありません。研究者は、物理キーボードやソフトキーボードを使用する場合、各人の入力速度が異なることを考慮しました。そのため、テストの品質を確保するために、テスターは物理キーボードを使用して 88.74% の速度で入力することもできます。

結果は、この方法の精度が 95.84% に達し、ベースライン レベルを 4.06% 上回ったことを示しました。

研究者らによると、I-Keyboardは現在すべてのスマートフォンのモデルをサポートしているわけではないが、研究者らの目標はシステムをすべてのタッチスクリーンデバイスに拡張することだという。

このような研究には無限の将来性があり、ジェスチャー認識アルゴリズムを追加することで、ひげや句読点、ファンクションキーなど、アルファベット以外の文字の入力も実現できると研究者らは述べた。

つまり、まったく新しい入力体験です。

ポータル

VentureBeat のレポート:

https://venturebeat.com/2019/08/02/ai-may-turn-touchscreen-keyboards-invisible/

論文の宛先:

https://arxiv.org/abs/1907.13285