https://frosthead.com

神経科学者は脳波を言語音声に変換しました

おしゃべりなモバイルアシスタントを強化するのと同じテクノロジーが、いつの日か話す能力を失った人々に声を提供する可能性があります。 Renae ReintsがFortuneについて報告しているように、コロンビア大学の神経科学者は最近、この未来的な目標に向けて大きな進歩を遂げ、初めて脳波をわかりやすい音声に変換することに成功しました。

Scientific Reportsに掲載されているチームの研究には、やや型破りなアプローチが含まれています。 研究者は、思考を直接追跡して発話するのではなく、被験者が話すことを聞いている被験者によって生成された神経学的パターンを記録しました。 これらの脳波は、音声を合成する人工知能アルゴリズムであるボコーダーに送られ、参加者が聞いたフレーズを反映した、ロボットのように聞こえるわかりやすい音声に変換されました。

コロンビアの神経生物学プログラムのエンジニアである研究著者のニマ・メスガラニは、「私たちの声は、私たちを私たちの友人、家族、そして私たちの周りの世界につなげるのに役立ちます。文。 「今日の研究では、その力を回復する潜在的な方法があります。 適切なテクノロジーを使用すれば、これらの人々の考えを解読して、あらゆるリスナーが理解できることを示しました。」

GizmodoのGeorge Dvorskyによると、科学者は、想像された言葉としても知られている内部の思考を言葉に直接変換する方法をまだ理解していないことに注意する価値があります。 この理想的なシナリオでは、音声技術を利用する個人は、単に自分が言いたいことを思い描いてから、人工音声システムがこれらの考えを言語化するのを待ちます。

故英国の物理学者スティーブン・ホーキングは、音声合成技術の初歩的なバージョンを使用して他の人とコミュニケーションを取りました。 Nina GodlewskiがNewsweekに書いているように、ホーキングは21歳で筋萎縮性側索硬化症(ALS)と診断されました。運動神経疾患は最終的に彼のスピーチ能力を主張し、ハンドクリッカーを使ってスピーチをトリガーしました。

ホーキングが手の使用を失ったとき、彼は顔の動きに基づいたシステムに切り替えました。 GizmodoのDvorskyは、科学者が眼鏡に接続された頬スイッチを使用して、音声シンセサイザーによって話された言葉を選択したことをさらに説明しています。

この技術の高度な反復により、仲介者が省略されるため、ユーザーはコンピューターや動きに敏感なシステムの助けを借りずに音声を生成できます。

比較的、Avery ThompsonはPopular Mechanicsに注目しています。コロンビアのチームの研究は、「耳に聞こえないスピーチ」の翻訳に焦点を合わせています。ゼロから9までカウントしますが、ニューラルモニタリングデバイスに接続します。

これらのツールでキャプチャされた脳波はボコーダーに入力され、ボコーダーは、 未来派のクリスティン・ハウザーの言葉で訓練されたニューラルネットワークの助けを借りて音声を合成し、出力を「クリーンアップ」して音声をわかりやすくしました。

次に、科学者は他の11人の参加者にAI対応の音声を聞くように依頼しました。 重要なことは、研究の共著者であるMesgaraniがコロンビアの声明で指摘していることであり、これらの個人は約75%の時間で音を「理解して繰り返す」ことができました。 (ここで自分の録音を判断できます。)

ギズモードのドヴォルスキーとのインタビューで、メスガラニは、彼と彼の同僚が近い将来、より複雑なフレーズを合成することを望んでいると言います。 また、研究者は、他の人の発言を聞くのではなく、話す行為を考えたり想像したりする被験者によって生成された脳信号を記録したいと考えています。 最後に、Mesgaraniは声明に追加し、チームはいつか技術を着用者の思考を直接言葉に翻訳できるインプラントに変換することを目指しています。

新しい研究の潜在的な制限には、サンプルサイズが小さいこと、および研究に関与しなかったニューカッスル大学の神経科学者Andrew Jacksonによると、すべての新しい参加者からの膨大な数の脳信号にニューラルネットワークを導入する必要があるという事実が含まれますゼロから9までの数字を超える音声を合成するため。

「将来、ある人のために訓練されたデコーダが他の人に一般化するのを見るのは面白いでしょう」とジャクソンはギズモードに語ります。 「これは、ユーザーが個別にトレーニングする必要がある初期の音声認識システムに似ていますが、SiriやAlexaなど、今日もニューラルネットワークを使用して誰の声でも理解できるテクノロジーとは対照的です。 これらの技術がいつか脳の信号に対して同じことをすることができるかどうかは、時が経てばわかります。

神経科学者は脳波を言語音声に変換しました