音は圧力です。 トランペットのブレと柔らかく話された言葉の両方は、ただ空気を通過する波です。 これらの波が鼓膜に当たると、それらは音として解釈されます。 しかし、他のオブジェクト（チップの袋など）で跳ね返ると、バッグの薄いホイルが小刻みに動きます。 高速ビデオと高度なイメージングアルゴリズムを使用して、コンピューターサイエンティストは、チップバッグの穏やかな羽ばたきをリバースエンジニアリングして、動作を開始する音を把握する方法を見つけました。
これらの振動はごくわずかです。 彼らは速いです。 それらはほとんど知覚できません。 しかし、それらは存在し、上記のMIT博士課程の学生であるAbe Davisのビデオでは、研究者がビデオでキャプチャされたこれらの微小な動きから音符と人間の声をどのように再現したかを見ることができます。 デイビスが「ビジュアルマイク」と呼んだこの技術は、通常のビデオカメラでも使用できます。
この研究は、あらゆる種類のSFの可能性の幽霊を引き起こします。会話を近くのスナックバッグから持ち上げるだけで、誰が唇を読んだり、バグを記録したりする必要があるのでしょうか。
これは、環境の画像から音を取り除く最初の試みではありませんが、以前の取り組みは、「振動面に投影されるレーザービームまたはパターンを必要とする、本質的にアクティブでした」と報告書で述べています。進歩により、こうした要件はなくなります。 MITによると、このアプローチを使用して、チームは「アルミ箔、水の入ったガラスの表面、鉢植えの植物の葉でさえ」音声信号を取り除くことができました。
彼らのウェブサイトによると、研究者は自分のコードを世界に公開する予定です。 このようなツールを手に入れるのを待ちきれない企業や代理店がいることは間違いありません。
