触覚がこんなにリアルになったのは初めてです!南カリフォルニア大学の2人の中国人博士が「触覚知覚」アルゴリズムを発明した

電子技術の発達により、私たちはいつでもどこでも「視聴覚の饗宴」を楽しめるようになり、人間の聴覚と視覚は完全に解放されました。

近年、デバイスに「タッチ」を装備することが徐々に新たな研究のホットスポットとなり、特に「メタバース」の概念の支持を受けています。タッチの追加は、間違いなく仮想世界のリアリティを大幅に高めます。

現在の触覚認識技術は、主に「データ駆動型」モデルを通じて触覚をシミュレートしてレンダリングします。このモデルは、まずユーザーが実際のテクスチャと相互作用した信号を記録し、次にその信号をテクスチャ生成部分に入力して、振動の形でユーザーに触覚を「再生」します。

最新のアプローチでは、ユーザーの操作動作と高周波振動信号に基づいて、摩擦や微細な表面特性などのテクスチャ機能をモデル化します。

データ駆動型ではシミュレーションの現実感が大幅に向上しますが、依然として多くの制限があります。

たとえば、世の中には無数のテクスチャが存在しますが、すべてのテクスチャを収録しようとすると、必要な人手と物的資源は想像を絶するほどになり、一部のニッチなユーザーのニーズを満たすことも不可能になります。

人間は触覚に非常に敏感で、同じ物体でも人によって感じ方が異なります。データ駆動型のアプローチでは、テクスチャの記録からテクスチャのレンダリングまでの知覚の不一致の問題を根本的に排除することはできません。

最近、USC Viterbi 工学部の博士課程の学生 3 名が、テクスチャの詳細を識別する人間の能力を利用して生成された仮想知覚を調整し、最終的にかなりリアルな触覚知覚を実現する新しい「好み主導型」モデル フレームワークを提案しました。この論文は、IEEE Transactions on Haptics に掲載されました。

論文リンク: https://ieeexplore.ieee.org/document/9772285

好みに基づくモデルは、まずユーザーに実際の触感を提供し、次に数十の変数を使用して 3 つの仮想テクスチャをランダムに生成します。ユーザーはその中から実際のオブジェクトに最も似ているテクスチャを選択できます。

継続的な試行錯誤とフィードバックにより、モデルは検索を通じて変数の分布を継続的に最適化し、生成されたテクスチャをユーザーの好みに近づけます。この方法は、テクスチャを直接記録して再生するよりも明らかに優れています。なぜなら、コンピューターが読み取るものと人間が実際に感じるものとの間には常にギャップがあるからです。

このプロセスは、実際には「当事者 A と当事者 B」に似ています。知覚者 (当事者 A) として、タッチが正しくないと感じた場合は、それを呼び出して、アルゴリズム (当事者 B) に修正させて再生成させ、生成された効果が満足のいくものになるまで続けます。

これは実は理にかなっています。なぜなら、同じ物体に触れても人によって感じ方は異なりますが、コンピューターから発せられる信号は同じなので、人それぞれに合わせてタッチをカスタマイズする必要があるからです。

システム全体は 2 つのモジュールで構成されています。1 つ目は、潜在空間内のベクトルを UPenn Haptic Texture Toolkit (HaTT) でトレーニングされたテクスチャ モデルにマッピングするために使用される深層畳み込み生成敵対ネットワーク (DCGAN) です。

2 番目のモジュールは比較ベースの進化アルゴリズムです。生成された一連のテクスチャ モデルの中で、共分散行列適応進化戦略 (CMA-ES) は、ユーザーの好みのフィードバックに基づいて進化する新しいテクスチャ モデルを作成します。

実際の質感をシミュレートするために、研究者はまずユーザーにカスタムツールで実際の質感に触れるように依頼し、次に触覚デバイスを使用して仮想質感候補のセットに触れるように依頼しました。触覚フィードバックは、デバイスのスタイラスに接続されたHaptuatorを介して送信されます。

ユーザーが行う必要があるのは、実際のテクスチャに最も近い仮想テクスチャを選択し、シンプルなスライダー インターフェイスを使用して摩擦の量を調整することだけです。摩擦はテクスチャの触感にとって非常に重要であり、人によって異なる場合があります。

その後、すべての仮想テクスチャは、ユーザーの選択に基づく進化戦略に従って更新され、ユーザーは再度選択と調整を行います。

上記のプロセスは、ユーザーが実際のテクスチャに近いと思われる仮想テクスチャを見つけて保存するか、より近い仮想テクスチャが見つからないまで繰り返されます。

研究者らは評価プロセスを2つの段階に分け、各段階に別々の参加者グループを設けた。

最初のフェーズでは、5 人の参加者がそれぞれ 5 つの実際のテクスチャに対して仮想テクスチャを生成し、検索しました。

2 番目の段階では、最終的に保存された設定駆動型テクスチャ (VTp) とそれに対応する実際のテクスチャ (RT) 間のギャップを評価します。

評価方法は主に形容詞評価法を採用し、粗さ、硬さ、滑らかさなどの知覚的次元を評価します。

そして、VTp、RT、データ駆動テクスチャ (VTd) 間の類似性を比較します。

実験結果では、進化のプロセスに従うことで、ユーザーはデータ駆動型モデルよりもリアルな仮想テクスチャ モデルを効果的に見つけることができることも示されています。

さらに、参加者の 80% 以上が、嗜好駆動型モデルによって生成された仮想テクスチャを、データ駆動型モデルによって生成されたものよりも優れていると評価しました。

触覚デバイスは、ビデオゲーム、ファッションデザイン、外科手術シミュレーションなどでますます人気が高まっており、自宅でも、ラップトップと同じくらい人気のある触覚デバイスを使用するユーザーが見られ始めています。

たとえば、一人称視点のビデオゲームにタッチを加えると、プレイヤーの現実感が大幅に向上します。

論文の著者らは、私たちが道具を通して環境とやりとりするとき、触覚フィードバックは感覚フィードバックの一形態に過ぎず、音声は別の感覚フィードバックであり、どちらも非常に重要であると述べています。

この研究は、ゲームだけでなく、極めて正確なテクスチャが求められる歯科や外科のトレーニングで使用される仮想テクスチャにも特に役立つ可能性があります。

「外科手術のトレーニングは、非常にリアルな質感と触覚フィードバックを必要とする非常に大きな分野です。また、化粧品のデザインでも、開発中、そしてその後の製造段階で、非常に正確な質感のシミュレーションが必要です。」

ビデオゲームからファッションデザインまで、あらゆるものに触覚技術が組み込まれており、既存の仮想テクスチャデータベースもこのユーザー嗜好アプローチによって改善される可能性があります。

テクスチャ検索モデルを使用すると、ユーザーはペンシルバニア大学の Tactile Texture Toolkit などのデータベースから仮想テクスチャを取得し、希望する結果が得られるまでテクスチャを改良することもできます。

この技術をテクスチャ検索モデルと組み合わせることで、他の人が記録した仮想テクスチャを使用し、戦略に基づいてテクスチャを最適化することができます。

著者は、将来的にはモデルに実際のテクスチャさえ必要なくなるかもしれないと考えています。

私たちの生活の中で一般的なものの感触は非常に直感的であり、実際の質感を参照することなく写真を見ることで自然に感覚を微調整することができます。

たとえば、テーブルを見ると、触ったらどんな感じになるか想像できます。表面に関するこの事前知識を活用することで、ユーザーに視覚的なフィードバックを提供し、一致するコンテンツを選択できるようにすることができます。

記事の主執筆者で、現在南カリフォルニア大学コンピューターサイエンス学部の博士課程に在籍する Shihan Lu 氏は、これまでに没入型技術におけるサウンドに関する研究を行っており、ツールが仮想テクスチャと相互作用するときに一致するサウンドを導入することで、仮想テクスチャの没入感を高めています。

この記事の2番目の著者であるMianlun Zheng氏は、南カリフォルニア大学コンピューターサイエンス学部の博士課程の学生です。彼は武漢大学で学士号と修士号を取得しました。

​​