スティーブンスピルバーグの2018年の映画Ready Player Oneでは、2011年のアーネストクラインの本に基づいて、人々はOASISと呼ばれる没入型の仮想現実の世界に入ります。 このSF映画で未来の技術について最も魅力的だったのはVRゴーグルではなく、Oculus、HTCなどが現在販売しているヘッドセットからそれほど遠くないようです。 それは視覚と音を超えた感覚のタッチでした。
キャラクターはグローブを身に着けており、想像上の物体を手で感じることができるフィードバックを備えています。 彼らは胸にパンチの力や愛careをなでる力を再現したフルボディスーツにアップグレードすることができました。 しかし、これらの機能も、想像したほど遠くないかもしれません。
私たちは、触覚、つまり「触覚」情報に、意識的にさえ認識しない方法で継続的に依存しています。 私たちの皮膚、関節、筋肉、臓器の神経は、私たちの体がどのように配置されているか、私たちが何かをしっかりと持っているか、天気がどんなものか、愛する人が抱擁を通して愛情を示していることを教えてくれます。 世界中で、エンジニアはビデオゲームなどのために、現実的なタッチ感覚を再現するために取り組んでいます。 人間とコンピューターの相互作用にタッチすると、ロボット制御、物理的リハビリテーション、教育、ナビゲーション、コミュニケーション、さらにはオンラインショッピングさえ強化されます。
「過去、ハプティクスは、携帯電話の振動やゲームコントローラの振動パックで、物事を目立たせるのに優れていました」と、南カリフォルニア大学のコンピューター科学者であるヘザーカルバートソンは言います。 「しかし、今では、より自然に感じられるもの、自然の素材の感触や自然の相互作用をより模倣するものへのシフトがあります。」
未来は明るいだけでなく、テクスチャーがあります。
* * *
触覚デバイスは、把持可能、着用可能、および接触可能という3つの主要なタイプに分類できます。 把握しやすいように、ジョイスティックを考えてください。 明確なアプリケーションの1つはロボットの操作です。これにより、オペレーターはロボットがどれだけ抵抗しているかを感じることができます。
外科用ロボットを使用すると、医師は世界の反対側から操作したり、小さすぎたり手が狭すぎるスペースでツールを操作したりできます。 多くの研究により、これらのロボットの制御に触覚フィードバックを追加すると、精度が向上し、組織の損傷と手術時間が短縮されることが示されています。 触覚フィードバックを使用することで、医師は仮想現実にのみ存在する患者を訓練しながら、実際の切断と縫合の感覚を得ることができます。 カルバートソンの学生の1人は現在、歯科学生の最初の誤った穴あけが実際の歯にならないように歯科シミュレータを開発しています。
エンジニアは、現実的なタッチ感覚をビデオゲーム、ロボット制御などに伝達するためのシステムを構築し、さまざまなアプリケーションを使用しています。 （Nourable Magazineの礼儀） 指揮下のロボットが何をしているのかを把握することは、爆弾の拡散や倒壊した建物からの人々の抽出にも役立ちます。 または、船外活動に適さないで衛星を修理するため。 ディズニーでさえ、人間とロボットの安全な相互作用のために、触覚テレプレゼンスロボットを検討しました。 ヒューマノイドのロボットアームと人間が握れるミラーアームセットを接続する空気圧チューブを備えたシステムを開発しました。 人はミラーボットを操作して、最初のボットに風船を持たせたり、卵を拾ったり、子供の頬をなでたりさせることができます。
小規模では、ローザンヌのスイス連邦工科大学（EPFL）のロボット工学者Jamie Paikの研究室は、Foldawayと呼ばれる携帯型触覚インターフェースを開発しました。 正方形のドリンクコースターのサイズと形状に関するデバイスには、3つのヒンジ付きアームがポップアップし、中央で会合します。 （研究室のポスドクであるステファノ・ミンチェフは「小型化された折り紙ロボット」と呼んでいます。）小さなプラスチック製のハンドルを腕が交わる場所に貼り付けて、3次元で動作するジョイスティックを作成します。ユーザーが押し付けているオブジェクトの感覚。 デモでは、チームはこれらのデバイスを使用して、空中ドローンの制御、仮想オブジェクトの絞り込み、仮想人体解剖学の形の感じ取りを行いました。
乗り越えられないように思えるハプティックスを把握することには、特定の課題があります。たとえば、無重量のデジタルオブジェクトをつかんで持ち上げるときに、どのように重量感を与えるのでしょうか。 しかし、神経科学を研究することで、エンジニアはいくつかの回避策を見つけることができました。 カルバートソンと同僚は、重力問題のためにGrabityと呼ばれる装置を開発しました。 仮想オブジェクトをつかむために握り締めるのは一種の万力です。 特定の方法で振動するだけで、重量と慣性の錯覚を作り出すことができます。
しかし、「脳をだますことはこれまでのところに過ぎません」と、ハプティクスで働くノースウェスタン大学の機械エンジニア、エド・コルゲートは言います。 触覚の幻想を破ることは時々簡単です。 彼の考えでは、長期的には、エンジニアは現実世界の物理学-重量とすべて-を可能な限り忠実に再現する必要があります。 「それは本当に難しい問題です。」
Grabity（下）と呼ばれる把持可能な触覚デバイスは、仮想オブジェクトの処理に重量と慣性の錯覚を与えます。 ここでは、ブロックの感触を模倣しています（上）。 （スタンフォードシェイプラボの提供） つかむことができる装置は、運動感覚、つまり皮膚だけでなく筋肉、腱、関節の神経が介在する運動、位置、力の感覚をしばしば利用します。 一方、ウェアラブルデバイスは、通常、皮膚の神経によって媒介される触覚（圧力、摩擦、または温度）に依存しています。
さまざまな実験装置が指に装着されており、仮想現実の物体に触れると、さまざまな程度の力で指パッドを押します。 しかし、最近のデバイスは、指腹を覆うことなく同じ種類のフィードバックを提供します。 代わりに、リングを着用する場所に着用し、下の皮膚を伸ばすモーターが含まれています。 これにより、指は現実のオブジェクトと自由にやり取りしながら、「仮想」オブジェクトを検知できます。これは、ゲームと本格的なアプリケーションの両方に役立つ機能です。
あるテストでは、人は本物のチョークを持ち、触覚的錯覚のおかげで仮想黒板に「書いた」ときに圧力を感じることができました。チョークがボードに接触し、皮膚が伸びているのを同時に見て、彼らはされました指先でプレッシャーを感じます。
より一般的には、ウェアラブルハプティックデバイスは振動を介して通信します。 たとえば、Culbertsonの研究室では、着用者が向きを変える必要がある方向に振動することで、着用者をガイドするリストバンドの研究を行っています。 そして、スタンフォードの神経科学者デイビッド・イーグルマンによって設立されたNeoSensoryは、HBOのSFシリーズWestworldのエピソードで紹介された32個の振動モーターを備えたベストを開発しています。
ベストの最初の実際のアプリケーションの1つは、音を触覚に変換して、重度または完全な難聴の人々が話し言葉をより理解できるようにすることです。 イーグルマンは、視覚障害者のために視覚世界の側面を振動に変換することにも取り組んでいます。 その他の取り組みには、市場や環境データなどのより抽象的な情報が含まれます。物事が空間的にどこにあるかを示すグリッドではなく、振動の複雑なパターンが数十株の価格を示す場合があります。
この画像は、ウェアラブルハプティックデバイス用の、身体に適合した柔らかく柔軟な肌のような素材のデザインを示しています。 センサー層とアクチュエーター層は、シリコーンの層で分離されています。 センサー層では、チタン酸ジルコン酸鉛（PZT）が力を電荷に変換してコンピューターにフィードバックします。 アクチュエーター層には、着用者への振動フィードバックのために1秒間に何回も空気で満たすことができる小さなポケットが含まれています。 （HA Sonar et al / Frontiers in Robotics and AI 2016から適応） 振動モーターはかさばることがあるため、一部のラボではより快適なソリューションを開発しています。 EPFLのPaikの研究室は、柔らかい空気圧アクチュエータ（SPA）スキンに取り組んでいます。これは、小さなエアポケットが点在する2ミリメートル未満の厚さの柔軟なシリコンのシートです。 1秒間に何十回も独立して膨張および収縮させることができ、それによってピクセルとして機能するか、または触覚要素の「タクセル」として機能して、感覚のグリッドを作成します。 これらは、スーツがReady Player Oneで提供するような感覚を提供したり、ロボットや義肢の位置に関するフィードバックを提供したりする場合があります。 SPAスキンには、ユーザーが絞ったときに同じスキンをコンピューター入力に使用できる新しい耐腐食性金属合金製のセンサーも組み込まれています。
厚さ0.5ミリメートル未満のさらに薄いハプティックフィルムも、Novasentisによって作成され、強度、柔軟性、電気的応答性のバランスをとる新しい形態のポリフッ化ビニリデンプラスチックで作られています。 フィルムが柔軟な材料のシートの片面に重ねられ、電荷が加えられると、フィルムは収縮してシートを曲げ、皮膚に圧力をかけます。 Novasentisは現在、バーチャルリアリティとゲームのために手袋に入れているデバイスメーカーに資料を提供しています。
「水と砂と岩を区別できます」と、同社のマーケティング担当副社長であるスリ・ペルベンバは言います。 VRデザイナーは、ゲームの状態に関する感覚を伝えるメッセージなど、より抽象的な表現を作成することもできます。 「私たちの技術でハプティック言語全体を作成できます」とペルベンバは言います。
振動は、別の種類の触覚錯覚を引き起こす可能性があります：引っ張る感覚。 皮膚の表面に平行に前後に振動するデバイスが1方向に素早く動き、1秒間に何回もゆっくりと逆方向に戻ると、皮膚が最初の方向に引っ張られているように感じます。
ほとんどのウェアラブルデバイスは触覚を使用しますが、運動感覚の筋関節腱入力も使用できます。 エンジニアは、センサーとモーターで身体に固定された足場の一種であるロボット外骨格を開発しました。これは、麻痺した人の歩行、兵士の超強力、遠く離れたロボットの制御を支援します。 EPFLの研究室はFlyJacketを開発しました。FlyJacketは、ピストンを腰に接続して、腕を横に真っ直ぐに伸ばして着用します。 特に飛ぶようには見えませんが、腕を動かして胴体をひねることで、空中ドローンの飛行を制御できます。 ドローンが突風を感じたら、あなたもそうします。
デバイスの最後のカテゴリは、タッチ可能なインターフェイスです。たとえば、アプリをクリックすると小さなバンプが表示されるスマートフォンの画面などです。 カルバートソンの仕事は、単純な衝突やバズを超えています。 彼女は、「データ駆動型ハプティクス」と呼ばれるものを使用して、表面のテクスチャをシミュレートします。複雑なアルゴリズムや物理モデルを記述して実際の振動をシミュレートする振動を生成する代わりに、異なるファブリックや他の素材に異なる速度でドラッグしたときの動作を記録し、圧力。 次に、ペンをドラッグすると、表面が振動を再生します。 アプリケーションには、オンラインショッピングや仮想博物館が含まれます。
タッチ可能な触覚デバイスにより、ユーザーはペンを介して伝達される振動のパターンに応じて、さまざまなテクスチャを「感じる」ことができます。 振動は、ペンの移動速度、またはユーザーが加える圧力に応じて変化します。 目標は、表面の粗さ、硬さ、滑りを現実的にシミュレートすることです。 （Heather Culbertson提供） タッチ可能な表面は、幻想のタイプも可能にします。 たとえば、Culbertsonによれば、ボタンの写真をタップするときにボタンをクリックする音を再生すると、ボタンが実際にクリックしているように感じます。 または、画面を指の下で変形するように見せることで、画面を柔らかく感じることができます。 人々は視覚、音、触覚、味覚、嗅覚を結びつけることで知覚を構築します。そして、カルバートソンが言うように、「感覚に不一致がある場合、脳をだますのは本当に簡単です」。
VRの現実的な触覚は永遠に不格好で高価な場合があります。 または、技術により、 Ready Player Oneが最終的には古風に見える場合があります。 いずれの場合でも、ビデオゲームコントローラーの広範にわたるゴロゴロ音や電話や時計の際限なく振動するような赤ちゃんのステップでわかるように、触覚デバイスはここに留まり、デジタルライフに新しい次元を追加します。
Knowable Magazineは、Annual Reviewsの独立したジャーナリスティックな取り組みです。 
