最先端技術の共有：脳の信号を音声に変換するAIアルゴリズムは、失語症の人が正常に話すことを助けることが期待されています

カリフォルニア大学サンフランシスコ校の神経科学者チームは、ネイチャー誌に最近発表した研究で、脳の活動に基づいて自然な音声を合成できるニューラルデコーダーを紹介した。

この研究は、チャン研究室の言語科学者ゴパラ・アヌマンチパリ氏と生物工学大学院生ジョシュ・シャルティエ氏が主導した。これは、カリフォルニア大学の脳神経外科教授エドワード・チャン氏の研究室で開発されている。

なぜこのニューラルデコーダーを導入するのでしょうか?

多くの人が、脳卒中、外傷性脳損傷、またはパーキンソン病、多発性硬化症、筋萎縮性側索硬化症などの神経変性疾患により、話す能力を失います。

現在、非常に微細な目や顔の筋肉の動きを追跡する補助装置により、重度の発話障害を持つ人々が自分の考えを一語一語表現することが可能になっています。しかし、このようなデバイスを使用してテキストや合成音声を生成するのは、時間がかかり、手間がかかり、エラーが発生しやすいことがよくあります。これらのデバイスのもう 1 つの制限は、1 分間に最大 10 語しか生成できないことです。

この研究は、脳の活動によって制御できる人の声の合成バージョンを生成することが可能であることを示しています。研究者たちは、将来この装置を使って重度の言語障害を持つ人々が流暢にコミュニケーションできるようになるかもしれないと考えている。人間の声の「音楽性」の一部を再現し、話者の感情や個性を表現することもできます。

「この研究は、個人の脳活動に基づいて完全な音声文章を生成できることを示している」とチャン氏は語った。 「これは、すでに手の届く範囲にある技術を使って、言語障害を持つ患者に臨床的に実現可能なデバイスを構築できるはずであるという、エキサイティングな原理実証です。」

システムはどのように機能しますか?

この研究は、ジョシュ・シャルティエとゴパラ・K・アヌマンチパリによる別の研究に基づいており、その研究では、脳内の発声中枢が唇、顎、舌、その他の発声器官の動きを調整して滑らかな発声を生み出す仕組みが示されています。

新しい研究では、アヌマンチパリ氏とシャルティエ氏は5人の患者にいくつかの文章を声に出して読むように依頼した。これらの患者は、脳神経外科手術に備えて発作の原因を特定するために脳に電極を埋め込まれます。同時に、研究者たちは言語生成に関与することが知られている脳領域の活動を記録しました。

研究者たちは、ボランティアの声の録音を使用して、これらの音を出すために必要な声道の動きを理解しました。科学者たちは、この詳細な発声解剖図を使って、脳の活動によって制御できる現実的な仮想発声器官を各ボランティアのために作成した。

このシステムは 2 つのニューラル ネットワークで構成されています。

• 発話中に生成される脳活動のパターンを仮想声道の動きに変換するデコーダー。
• シンセサイザーを使用して、これらの声道の動きをボランティアの声の合成近似値に変換します。

研究者たちは、このシステムがボランティアの脳活動から直接解読した音声よりも大幅に優れた合成音声を生成したことを観察した。

このシステムはまだ初期段階です。シャルティエ氏は、その限界について次のように説明しています。「話し言葉を完全に模倣するには、まだ道のりが長いです。『sh』や『z』のようなゆっくりした音声を合成したり、音声のリズムやイントネーション、話し手の性別やアイデンティティを維持したりするのは得意ですが、『b』や『p』のような急激な音声は、少し不明瞭になります。それでも、ここで実現した精度レベルは、現在利用可能なものと比較して、リアルタイム通信の驚くべき改善となるでしょう。」