研究者らは、キーボードの打鍵音からデータを盗むためのディープラーニングモデルを最大95%の精度で訓練することに成功した。

8月7日のニュース、キーボードで入力した内容が他人に聞かれる可能性があることをご存知ですか?英国の研究者グループは、キーボードの打鍵音を最大95%の精度でキャプチャして解読することで、ユーザー名、パスワード、メッセージなどの機密情報を盗むことができるディープラーニングモデルを開発した。

IT Homeは、この音声認識アルゴリズムはデバイスのマイクにアクセスすることなく、ZoomやSkypeなどのビデオ会議ソフトウェアを通じてユーザーのキーボード入力音を監視し、入力内容を推測できるが、精度はそれぞれ93％と91.7％に低下することに気づきました。

この研究は、ディープラーニングを利用して、音を使ってクレジットカード番号、メッセージ、会話、その他の個人情報などの情報を盗む新しいタイプのマルウェアを開発する可能性があることを示しています。機械学習の進歩と安価で高品質のマイクの普及により、データ伝送の速度と距離に制限される他の方法よりも、音声ベースの攻撃がより実行可能になりました。

この音声認識アルゴリズムはどのように機能するのでしょうか?研究者らはMacBook Proノートパソコンを使用し、36個のキーをそれぞれ25回叩き、各キーから発せられる音を録音した。録音はノートパソコンから17センチ離れたところにあるiPhone 13 miniを使用して行われた。

研究者たちは録音から、それぞれのキーを区別する波形とスペクトログラムを生成した。次に、各キー押下の独特な音を使用して、「CoAtNet」と呼ばれる画像分類器をトレーニングし、キーボードのどのキーが押されたかを予測できるようになりました。

研究論文によると、ユーザーは入力パターンを変えたり、複雑でランダムなパスワードを使用したりすることで、この攻撃から身を守ることができるという。ホワイトノイズやキーボードの打鍵音を模倣するソフトウェアを使用して、モデルの精度を低下させることもできます。

現在、このような音声ベースの攻撃に対する最善の防御策は、指紋スキャナー、顔認識、虹彩スキャナーなどの生体認証を使用することです。