目に見えないものが見えるようになる！メタマテリアルとAIが融合し音像を解読

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

音は空中に目に見えない絵を描きますが、それを目に見えるようにするには何らかの手段が必要です。

ちょっとファンタジーっぽいですが、実現可能でしょうか？

できる！

最近、スイス連邦工科大学ローザンヌ校の波動工学研究所（EPFL）のチームが、メタマテリアルとディープラーニング技術を組み合わせるという革新的なアイデアを使ってこのプロセスを実現しました。

研究チームは2020年8月7日、「ディープラーニングによる遠距離場サブ波長音響イメージング」と題する研究結果を、世界トップの国際物理学誌「Physical Review X」に発表した。

回折限界がもたらす課題

チームの試みは物理学における「回折限界」から始まった。

回折は、私たちが日常生活で遭遇する物理現象です。波は障害物に遭遇すると、元の直線伝播から逸れます。これに基づく回折限界は、回折現象の限界により、物体点を光学系を通して理想的な像点に結像することができないことを意味します。

物体を画像化することで、物体が伝播または放射する光波と音波のいわゆる遠距離場解析を実行し、物体自体の特性を調べることができます。

この目標を達成するためには、画像解像度が重要な要素となります。解像度は波長によって制限され、波長が短いほど解像度が高くなります。

つまり、回折限界のせいで、物体の撮像品質が影響を受けるのです。したがって、光の波長よりもはるかに小さいサイズの物体の遠距離観察と識別という作業は困難です。

科学者たちはこれまでにこの制限を克服するためのいくつかの方法を考案してきましたが、これらの方法には次のような問題がまだ残っています。

侵襲的なラベリング方法：複雑で高価な光学機器が必要であり、画像後処理プロセスが面倒です。
共鳴メタマテリアルレンズアプローチ: ラベル付けは必要なく、画像解像度は高いものの、共鳴金属材料は吸収損失の影響を受けやすく、実用化を大きく妨げています。

メタマテリアルとディープラーニングを組み合わせる

あらゆる科学研究では、問題を発見した後、研究テーマを提案し、解決策を提供する必要があります。

研究チームは論文の中で次のように述べています。

機械学習は絶えず進歩しており、工学、生物学、医学、量子物理学など、さまざまな分野の科学者がディープラーニングを通じて研究を行おうとし始めています。近年のディープラーニングの成功例としては、医療画像解析、音声認識、画像分類、逆イメージング問題、さまざまな複雑な解析問題などが挙げられます。

実際、非線形モジュールを備えた複数の処理層で構成されるディープニューラルネットワークは、人間の介入なしに各層の内部パラメータを自動調整することで、複雑なデータに隠された構造を発見し、学習することができます。

これに触発されて、波動工学研究所の研究チームは、メタマテリアルとディープラーニング技術を組み合わせて回折限界を不利な点から有利な点に変え、ラベルフリーイメージング技術の新たな応用への道を切り開くというアイデアを思いつきました。

Leifeng.com は、メタマテリアルとは、自然界には存在しない、人工的に製造された非生物複合材料または構造の一種を指すことを知りました。この研究では、研究チームは損失のある（そして意図的に設計された）共鳴金属を使用しました。

【サブ波長画像再構成と認識のための実験装置】

研究チームは、波長以下の入力画像の近くに金属を配置し、画像を直接再構築して分類するようにニューラルネットワークをトレーニングしました。その中でも、金属の吸収損失が効果的な学習の鍵となります。

具体的な原理は以下の図に示されています。

数字の「5」に似た形は、サブ波長音源です。

パート a に示されているように、遠距離場に設置されたマイクロフォンアレイによってキャプチャされた信号には、音源のサブ波長の詳細に関する情報は含まれていません。つまり、使用する信号処理戦略に関係なく、イメージングは不可能です。

パート b に示すように、サブ波長ヘルムホルツ共振器のクラスターをランダムに挿入すると、サブ波長の詳細に関する情報が遠方場に放射されます。

パート c に示すように、チームはマイクロフォンアレイによってキャプチャされた遠距離場の振幅と位相をニューラルネットワークに入力しました。

研究チームは、画像再構成用の U-net 畳み込みニューラルネットワークと、画像分類用の多層並列 CNN という 2 種類のニューラルネットワークを使用しました。

解像度と分類精度の大幅な向上

実験結果によると、金属元素がない場合、U-net 型畳み込みニューラルネットワークでは画像の再構成が困難ですが、多層並列 CNN の分類性能は比較的高く、近距離場と遠距離場でそれぞれ 67.5% と 57.5% に達します。

n = 29 の損失共振器を追加すると、遠距離場分類精度は 57.5% から 74% に向上しますが、画像再構成品質はまだ低いです (下の図の最初の行)。

n = 302 の損失共振器を追加すると、全体的な分類精度が 84% に向上するだけでなく、サブ波長画像の再構成も非常に正確になり、解像度が 30 倍向上します (下の図の 2 行目)。

ニューラルネットワークが遠距離場で記録された振幅位相分布から元のサブ波長画像を復元できることを最初に実証した後、研究チームは、ネットワークが新しいデータベースで迅速に再学習できるかどうかを確認するという新たな目標を掲げました。

研究チームは、E、F、L、Pの4つの文字を含む600個のトレーニングサンプルと200個のテストサンプルを含む新しいデータセットを作成し、この新しい小規模なデータセットでU-net畳み込みニューラルネットワークを再トレーニングし、ニューラルネットワークにデータセット内の未知の文字を分類して再構築するよう要求したと理解されています。

上に示すように、再学習されたネットワークは、画像忠実度（ここでは、入力文字と再構築された文字の差を指します）が 0.94 以上を達成しており、この方法は適応性が高く、入力データの多様性に関係なく、新しいデータタイプを学習するときにより効率的であることを示しています。

論文の共著者の一人であるロマン・フルーリー氏は、このアプローチの独自性を強調した。