笑顔、しかめ面、顔をしかめる、にやにや—あなたの表情はビッグデータの次のフロンティアです| イノベーション| スミソニアン - 記事、イノベーション、イノベーター、テクノロジー、科学、人間の行動

人間の顔は、その数に応じて23〜43の筋肉によって動かされます。筋肉の多くは皮膚に付着しており、生存のための明らかな機能はありません。孤立して人間の標本を調べる外国人は、それらをどうするかわかりません。おでこ、眉、唇、頬を引っ張ると、筋肉は私たちの感情状態、興味のレベル、覚醒度に関する豊富な情報を発信します。これは非常に効率的なコミュニケーション手段であり、ほとんど瞬時に、通常は正確で、ほとんどの言語と文化の壁を越えます。ただし、データが失われたり、無視されたり、誤って解釈されることがあります。ロガーが森の中に誰もいないのに微笑んでいる場合、彼は実際に幸せでしたか？

この物語から

[×]閉じる

とても長い顔文字。科学者は私たちの表現を検出して読むことができる技術を開発しています

ビデオ：スミソニアン・インジェニティ・アワード2015：ラナ・エル・カリウビー

わずか12ドルで今すぐスミソニアン誌を購読する

この物語は、スミソニアン誌の12月号からの抜粋です。

購入

El Kalioubyは、キーボードからマウス、タッチスクリーン、音声認識への進歩における論理的な次のステップとして、感情的コンピューティングを推進しています。春に、Affectivaは最初の商用ソフトウェア開発キットをリリースしました。これは、ユーザーのリアルタイムの感情状態に興味のある開発者が独自のプログラム（音楽プレーヤー、ゲーム、デートアプリなど）に組み込むことができます。そして今秋、AffectivaはクラウドベースのプログラムであるEmotion As a Serviceを開始しました。これは、顧客が分析のためにビデオをアップロードできるものです。誰がこれを使うのでしょうか？就職のために面接を受けようとしている候補者。不安や退屈、あるいは笑いすぎのように見えることを心配しています。または、客室乗務員を雇う航空会社は、乗客に別れを告げるときに説得力のある笑顔を管理できる人を探して数百のビデオアプリケーションを選別します。（目の隅の筋肉の収縮を伴う本物の笑顔は、19世紀の解剖学者にちなんで命名された「デュシェンヌ」笑顔と呼ばれます。反対に、口だけを使用する強制的な笑顔は、実際には時々「パンアム」の笑顔と呼ばれます。）

そしてもちろん、このソフトウェアを実行するデバイスはすべてインターネットに接続されているため、ソーシャルメディアアプリが人気のあるトピックや性格を識別する方法で、収集した情報が即座に集約、選別、およびネットワーク化されます。おそらく、Affectiva Mood Indexのようなものにまとめられ、国民全体の幸福を数値で読み上げたり、現在、笑顔や眉をひそめている傾向にある地域に分けられます。

Affectivaの基本プログラムは、幸福、悲しみ、驚き、恐怖、怒り、嫌悪感、軽empt、さらに興味と混乱の46の局所表現について、1秒間に20回顔を分析します。（ナオミシャビン/スミソニアン）

これまで、Affectivaの主な顧客は広告、マーケティング、メディア企業でした。そのソフトウェアは、フォーカスグループの実行プロセスを自動化します。これは、新製品、テレビシリーズ、または広告キャンペーンについて意見を述べるために部屋に数十人を集める厄介な儀式です。参加者がプレゼンテーションに応じてダイヤルをいじったり、アンケートに答えたりする必要なく、反応を直接記録します。さらに、このソフトウェアは、潜在的なフォーカスグループを全世界、または少なくともウェブカメラ対応のコンピューターまたはモバイルデバイスを持つかなりの部分に拡大します。

Affectivaの容赦ない、すべてを見る目からのフィードバックは、ネットワークTVシットコムを形作るのに役立ち、視聴者を笑顔にしないという罪のために2人のキャラクターを忘却に任せました。（El Kalioubyはショーやキャラクターを識別しません。）そのソフトウェアは、カメラに微笑んだ買い物客にキャンディーバーを配る「スマイルサンプラー」を構築するために使用されました。より多くの研究があれば、空港での群衆監視、万引き犯の特定、または嘘発見器として役立つ可能性があります。

しかし、エルカリウビーは、これらの不正なアプリケーションに抵抗しましたが、利益が上がるかもしれません。彼女はアフェクティブコンピューティングがキャンディバーの販売を含むがこれに限定されない世界を変えると考えています。「当社の精神は、広告主がより多くの製品を販売できるようにするだけでなく、このテクノロジーを使用して人々の生活を改善し、コミュニケーションを改善することです」と彼女は言います。

**********

多くの技術起業家とは異なり、金持ちになることはエル・カリウビーの当初の議題ではありませんでした。テクノロジーで働くエジプト人の両親にカイロで生まれた彼女は、1998年に卒業したカイロのアメリカ大学でコンピューターサイエンスを勉強しました。感情的知性と呼ばれます。

彼女はケンブリッジ大学でコンピューターサイエンスの勉強を続け、2001年9月11日のアメリカへの攻撃の直後に到着しました。彼女の両親は、彼女の遺産のために逮捕、嫌がらせ、または悪化するリスクがあると考えました。しかし、彼女は数年前までイスラム教徒のヘッドカバーを着用していましたが、イギリスのケンブリッジでもマサチューセッツ州ケンブリッジでも、2006年にMITメディアラボに参加するために引っ越したことはありませんでした。。「私はたくさんの笑顔だからだと思う」と彼女は笑って言った。

フランスの解剖学者デュシェンヌは、人間の表情の画期的な研究を発表しました。（ブリッジマン画像）

ケンブリッジにいる間、彼女は自閉症の問題、特に自閉症の子供たちが表情を読むのが難しいということに興味を持ち始めていました。彼女は、顔を読んで適切な行動をキューイングするために着用できる「感情的な補聴器」を構築することを提案しました。プロジェクトが難しすぎるという理由で国立科学財団による助成金のために最初は断られ、彼女と彼女の同僚は、小さなカメラ、点滅ライト、ヘッドフォンを装備した眼鏡で構成されるプロトタイプを作りました。 Google Glassの初期バージョン。 2回目の助成金申請は成功し、MITに移った後、彼女と彼女のチームはロードアイランドの学校でそれを完成させ、テストするために次の3年間働きました。エル・カリウビーは、それを「研究プロジェクトであり、成功したプロジェクト」、つまりそれを使用した自閉症児が圧倒的に前向きな経験をしたと説明していますが、2008年に助成金が終了すると、彼女は計算の瞬間に直面しました。アフェクティブコンピューティングへの商業的関心は高まっており、彼女はそれが拡大し繁栄することを望んでいました。メガネを開発するために彼女の努力を注ぐと、その潜在的な用途のほんの一部に制限されます。そのため、Picardとともに、Affectivaをスピンオフさせ、別の会社が感情的な補聴器を手に入れて市場に出すことを望みました。

Affectivaが設立されたとき、会社を構成する少数の「チームメンバー」はそれぞれ、「学習」、「社会的責任」、「楽しい」など、具体化したい値を選択しました。 20人の会社は準民主主義として運営されており、半年に1度の会議で従業員が次の6か月にわたって追求する優先事項に投票します。彼女のオフィスには、同僚の一人の若い娘が描いた絵で覆われたホワイトボードがあります。彼女には6歳の息子、アダムと12歳の娘、Janaがいます。彼女はボストン近郊に住んでいます（父親はエジプトに住んでいます）。彼女の態度は穏やかで思いやりがあります。朝の会議の1時間後、彼女はランチをスキップしているにもかかわらず、訪問者にサンドイッチを注文するように申し出ます。「それは私にとってはラマダンです」と彼女は笑顔で言います。「しかし、あなたにとってはラマダンではありません。」

彼女は訪問者を机に座らせ、モニターとウェブカメラに面しています。ソフトウェアは訪問者の顔を特定し、画面上にボックスを描画します。目と口の角、鼻の先端など、追跡するポイントのセットを識別します。 1秒間に20回、ソフトウェアは「アクションユニット」を探します。これは、顔全体の筋肉のしばしばつかの間の遊びです。分類の標準システムであるフェイシャルアクションコーディングシステム（FACS）によると、これらのうち46個があります。それらには、内側と外側の眉の引き上げ、くぼみ、まばたき、ウィンクと唇のしわ、じょうご、プレッサーとサックが含まれます。 Affectivaの標準プログラムは、いつでもこれらの約15個をサンプリングし、幸福、悲しみ、驚き、恐れ、怒り、嫌悪感、軽empt、さらに興味と混乱の7つの基本的な感情の表現について分析します。笑顔、そしてあなたは幸福の尺度が爆発するのを見ることができます。冷静に唇を丸めると、プログラムはあなたの嫌悪を記録します。

または、より正確には、嫌悪感の表現。アフェクティブコンピューティングのすべての前提は、笑顔が幸福感、喜び、または娯楽を伝えるという信仰の飛躍に相当します。もちろん、人間も同じ立場にあります。虚偽の笑顔やfeされた怒りにだまされる可能性があるため、少なくともまだまだコンピュータープログラムに期待することはできません。

Affectivaは、世界中の75か国から募集したインターネットユーザーによってアップロードされた、300万を超える顔のビデオのアーカイブを作成してきました。これらの数十万は、訓練されたオブザーバーによって分析され、FACSアクションユニット用にコード化されました。ビデオは平均で約45秒であり、それぞれ処理に約5倍の時間がかかるため、記念すべき仕事です。次に、人間のコーダーからの結果を使用して、会社のアルゴリズムを「トレーニング」し、残りをリアルタイムで処理しました。現在、データベース全体には約400億の「感情データポイント」が含まれており、エルカリオビーが誇るリソースは、おそらく最も近い競合企業であるカリフォルニアに拠点を置くEmotientなど、Affectivaを同じ分野の他の企業と区別します。

（グラフ：5Wインフォグラフィックス;出典：Daniel McDuff、MIT Media Lab、Affectiva）

ダニエル・マクダフは、MIT Media LabからAffectivaに入社し、研究ディレクターを務めていますが、感情の表現に関するさらなる洞察を得るために、この研究を継続的に研究しています。年齢、性別、文化によってどのように違いますか？（おそらく驚くべきことに、McDuffは、高齢者の方が若い人よりも表情豊かで、特にポジティブな感情を持っていることを発見しました。）軽reliably、恥ずかしさ、退屈、不安を確実に測定できますか？眉間溝はいつ混乱を示し、いつ集中を示しますか？恐怖の表現と驚きを表す表現をどのように区別できますか？（ヒント：アクションユニット1、「インナーブロウレイザー」は恐怖のマーカーです。アクションユニット2、「アウターブロウレイザー」は驚きを示します。）プログラムが続くと信じるあらゆる理由があります表現の検出を向上させるために（すべての最大の障害であるボトックスを完全に克服することはできませんが）。

私のリクエストで、McDuffはこのプログラムに感情検出の偉大な古典的問題の1つであるモナリザを与えました。 モナリザの謎の準笑顔は500年にわたって視聴者を魅了しました。ソフトウェアは静的な画像ではなく、表情の変化に最適であるという警告で、彼はラジョコンダによる本物の笑顔の証拠は見つからず、むしろアクションユニット28（リップロール）と24（唇を一緒に押した）の何らかの組み合わせを見つけたと報告しました、おそらくある程度の不快感を示唆しています。

**********

「私は今あなたと話しています」とエル・カリウビーは言います。速度を落として、もっと説明すべきですか？別のトピックに行く必要がありますか？今、私が見たり聞いたりできない大きなグループにウェビナーを与えていると想像してください。フィードバックはありません。冗談がうまくいったのか、落ち着いたのか、人々が夢中になっているか退屈しているのかを見分ける方法はありません。そのフィードバックをリアルタイムで集約して、刻々と進むのは素晴らしいことではありませんか？」

彼女は、Jiboの広告を再生します。これは、クラウドファンディングWebサイトIndiegogoで予約注文可能な「ソーシャルロボット」で、元MITの同僚であるCynthia Breazealによって開発されました。ハイテクな溶岩ランプのように見えるジボは、テーブルの上に座って周囲をスキャンし、顔で個人を特定し、それらと対話します。メッセージの中継、リマインダーの発行、定期的な電話の発信、チャットさえも。これは、Affectivaのソフトウェアのもう1つの潜在的なアプリケーションであり、企業は協議中です。これは「非常にエキサイティングな見通しです」とel Kaliouby氏は言います。

エキサイティングなものもありますが、感情処理ロボットの可能性は他の人を驚かせています。人間とコンピューターの関係を長年研究してきたシェリー・タークルは、新しい本「 Reclaiming Conversation：The Power of Talk in Digital Age 」で、機械が人間の交際に置き換わる「ロボットの瞬間」について警告しています。タークルは、エル・カリウビーと彼女のチームのような科学者が彼らが言うことをすることができると信じています。「これらはすべて、素晴らしい仕事をしている才能のある才能のある人々です」と彼女は言います。また、彼女は、特定の状況（宇宙空間や重機の周辺など、あらゆる通信モードに参加させたい危険な環境）では、感情的なコンピューティングが果たす役割に同意します。「しかし、次のステップは」と彼女は言います。次のステップは、ロボットの友達を作りましょう。子供たちがシリと話していることに満足している両親にインタビューしましたが、それは私たちが行きたい道に私たちを連れて行っていないと思います。私たちは自分を人間と定義しますが、それは私たちが誰と関わっているかによって決まります。そして、機械に関連した自尊心の感覚を形成することは私には意味がありません。なぜあなたが悲しいかをコンピューターに知らせたいのですか？」

エル・カリウビーでさえ、「画面で視線がロックされるプレティーンの娘を念頭に置いて、「デバイスで過ごす時間よりも多くの時間を費やしている」ことに同意する傾向があります。

しかし、彼女は、これまで以上に接続性が向上する傾向は不可逆的であると考えており、ユーザーは常にオプトインする必要がありますが、最大限に活用できると考えています。彼女は、私たちのデバイスが「感情チップと、このデータを共有することに対する人々の懸念を上回る、私たちの生活に十分な価値を追加する方法でそれを使用するアプリのスイート」を持つと予測しています。電話アプリが物理的な空間を移動するのと同じように、感情的な空間をナビゲートするのを助けます。「誰もが最初に出てきたときに位置検出デバイスを心配していました。彼らは私たちのプライバシーを侵害し、常に私たちを追跡していました」と彼女は言います。「たった今、携帯電話にGoogleマップがなければ失われていました。これは同じだと思います。」

**********