約500, 000人のアメリカ人がアメリカ手話（ASL）を使用しています。 ASLの耳の不自由なユーザーにとって、言語に堪能でない人々とのコミュニケーションは困難な場合があります。 ほとんどの耳が聞こえない生まれのアメリカ人は、言語療法を通じて話し言葉を学びますが、一部の人はまだ自分のことを口頭で理解するのに苦労しています。
現在、テキサスA＆M大学の研究者は、ユーザーの動きを感知して手話を英語に「翻訳」するウェアラブルデバイスを開発しました。 プロトタイプ段階のデバイスは、96パーセントの精度で40個のASLサインを認識できます。
システムは2つのセンサーを使用します。 1つは、加速度計とジャイロスコープを備えたモーションセンサーで、ユーザーの手と腕の速度と角度を測定します。 ユーザーの手と腕がどこにあるかを検知することにより、ユーザーが署名している単語を推測し始めることができます。 次に、筋運動の電位を測定する筋電センサーがあります。 手や指のどの部分が動いているかを正確に知ることができますが、これは非常に重要です。
「アメリカ手話の語彙を見ると、手自体が動いていて、非常にきめの細かい指の動きがある場合があります」と、プロジェクトを率いたエンジニアのRoozbeh Jafariは言います。 「それらを検出したい場合、手の動きだけを使用することはできません。」
たとえば、ASLの「お願い」という言葉には、開いた手で胸の上に円を描くことが含まれます。 「ごめん」という言葉は同じ動きを使用しますが、手は拳で閉じられます。
センサーはユーザーの右手首に装着されます。 収集された情報は、Bluetooth経由でラップトップに送信されます。 このラップトップは、アルゴリズムを実行して記号を解釈し、画面に英語で単語を表示します。
最終的に、Jafariは小型のコンピューターをデバイスに直接組み込むことで、ラップトップの必要性を否定したいと考えています。 その後、コンピューターは英語の単語を他の人の電話に送信できるため、会話相手が言っていることを読むことができます。
当然、翻訳者は、実行可能な製品であるためには40よりもはるかに多くの兆候に習熟する必要があります。 ASLの標識は数百個ありますが、元の40個の標識は一般的で有用であるため選択されました、とJafariは言います。 人はそれらを使用して、「水が必要です」などのシンプルで重要な文章を言うことができます。また、デバイスは高速化する必要があります。
「実際には、人々はそのように話さない」とジャファリは言う。
しかし、このより高度なシステムは、将来の方法であり、より多くの作業と資金が必要になると彼は言います。
以前のASL翻訳技術では、カメラを使用してジェスチャーを読み取りました。 しかし、これらは低照明条件ではうまく機能しません、とジャファリは言います。 さらに、多くの人は、カメラで常に監視しているという考えを嫌います。
近年、他の多くの技術が開発され、耳の聞こえない人と聞こえる人が互いに通信するのを助けています。 昨年リリースされたTranscenseというアプリは、複数の人のスピーチを書き言葉に変換し、色分けされたバブルで画面に表示します。 これは、会議や社会的な状況で耳の不自由な人を支援することを目的としています。 別の会社MotionSavvyは、ASLの動作を解釈し、英語で単語を読み上げるタブレットの開発に取り組んでいます。 中国では、研究者はMicrosoftのKinectモーションセンシング機器を使用して、中国語手話を話し言葉や書き言葉に翻訳しています。
ジャファリは、心臓のリズムを監視する時計など、ウェアラブル技術で長年働いてきた人として、快適さと美学の重要性を理解しています。 デバイスが不快で目立たない場合、人々はそれを着用しません。 手話翻訳デバイスの現在のプロトタイプは、電極とストラップとワイヤを備えた医療器具のように見えます。 Jafariは、最終バージョンを小さく魅力的なものにしたいと考えています。
「システム全体を時計に合わせたい」と彼は言う。
