https://frosthead.com

チューリングテストは何かを測定しますが、「インテリジェンス」ではありません

コンピューター時代の父の一人であるアラン・チューリングは、非常に賢い男でした。 実際、非常に賢いので、「マシンインテリジェンス」という用語はほとんど意味がないと理解しました。 機械が実際にできることについて話す方が良いと彼は推論しました:それは話すことができますか? 会話を抑えることができますか? 少なくともそれは私たちが勉強しようとすることができるものです。 チューリングは最終的に「チューリングテスト」として知られるようになったものを提案しました。裁判官が2つの隠されたエンティティのどちらが人間であり、どちらが人工であるかを判断できない場合、マシンはテストに「合格」しました。今週の土曜日にロンドンで起こったと言われています。

関連性のあるコンテンツ

  • シリコンバレーは、あなたが聞いたことのないこの技術の天才への成功を負っています
  • 自然のパターンについてのアランチューリングの60年前の予測

「私たちは…アラン・チューリングのテストが初めて合格したことを宣言できたことを誇りに思っています」と主催者の1人であるレディング大学のケビン・ワーウィックは、結果が発表されたときに語った。 優勝したチャットボットは、13歳のウクライナの少年の性格をエミュレートするコンピュータープログラムである「Eugene Goostman」という名前で呼ばれます。 「ユージーン」は、チューリングの死60周年にロンドンの王立協会のオフィスで開催された土曜日のイベントで、裁判官の33%が人間だと確信させることができました。 (同性愛者のチューリングは、1952年に重大なわいせつで有罪判決を受け、司法協定の一環としてホルモンの「治療」を受けるよう命じられました。2年後、彼は明らかな自殺でシアン化物中毒で亡くなりました。)

ただし、注意が必要です。 「インテリジェンス」は常につるつるしたテーマであり、特にチューリングテストは長い間論争を巻き起こしてきました。 チューリングは、1950年の「コンピューティング機械と知能」というタイトルの論文でその仕組みを説明しました。彼は伝統的なビクトリア朝のパーラーゲームからアイデアを取り入れました。質問することによって。 (声が景品になるので、質問への答えは書き留めておく必要がありました。)チューリングのバージョンがどのように機能するかは次のとおりです。2つのカーテンの前に座って、背後にあるものを知る方法のない裁判官がいるでしょう。 カーテンの後ろには人間がいます。 後ろにはコンピューターがあります。 裁判官は、2つの隠されたエンティティのいずれかに質問することができます。 応答に基づいて、裁判官は隠されたエンティティが人間か機械かを把握しようとします。 (チューリングでは、会話がテレタイプマシンによって仲介されると想定していました。今日、インターネットチャットルームやインスタントメッセージングで使用されるような、あらゆる種類の電子テキストベースのインターフェイスを使用できます。)

チューリングは、2000年までに「平均的な尋問者は正しい識別を行う確率が70%を超えることはないだろう」と推測しました。つまり、コンピュータープログラムは5分間の質問の後、裁判官に30%の時間を浪費させます。 「5分」が重要です。 チューリングは、テストに固有の時間制限については言及していませんでした。マシンが実際にテストに合格するためには、 あらゆる量の質問を処理できる必要があると主張することができます。 おそらく、5分間の基準はarbitrary意的ではあるが必要な制限でした。 チャットボットの進歩は止まるばかりで、2000年が行き来しました。 (1952年にBBCのインタビュアーからの質問に答えたより落ち着いた瞬間に、チューリングは、マシンがテストに合格するまでに100年かかると述べました。)

2012年に、私は「チューリングテストマラソン」の審査員を務めました。これは、一度に実施された史上最大のチューリングテストセットです。 第二次世界大戦の最後の数年間にチューリングの重要な暗号解読作業が行われたイギリスのブレッチリーパークで開催されました。 (それは土曜日のイベントを実行したのと同じチームによって組織され、そのときユージンの以前のバージョンも勝者でした。)土曜日のイベントのセットアップは2012年と同じでした:審査員はコンピューターで質問を入力しました、その後、返信が画面に表示されるのを待ちました。 チャットボットは「隠れた人間」とともに、見えない場所にある別の部屋にいました。

私が最初に超意識になったのは、あなたがチューリングテストの審査員である場合、5分がかなり速く進むということです。 また、会話が短いほど、コンピューターの利点は大きくなります。 尋問が長ければ長いほど、コンピューターがそれ自体を放棄する可能性が高くなります。 私はこれをマネキン効果と呼びたいです。生きている人間にぶつかったと仮定して、デパートのマネキンに謝罪したことはありますか? 遭遇がほんの数秒続くだけで、あなたが他の方法に直面している場合、あなたはあなたが人間に対してちょうどブラッシュアップしたと想像するかもしれません。 遭遇が長ければ長いほど、マネキンのマネキン性がより明白になります。

チャットボットでも同じです。 hellosを交換しても何も明らかになりませんが、それ以上進むと、より多くの問題が発生します。 チャットボットは、理由もなく理由を変更する傾向があるようです。 多くの場合、彼らは簡単な質問に答えることができません。 あいまいに聞こえるリスクがあるが、 彼らは人間のようには聞こえない 。 2012年の私の会話の1つで、私は簡単なジョークを入力しました。そして、私が会話していたエンティティはすぐに主題をハンバーガーに変更しました。 (コンピューター科学者のスコットアーロンソンは最近、ボットのウェブサイトでユージーンとチャットしたとき、同様の経験をしました。アーロンソンはユージーンにラクダの足の数を尋ねました。「2から4の間の何かか。後に、アーロンソンがアリが何本の足を持っているかを尋ねたとき、ユージンはまったく同じ返事、トリプルスマイリー、そしてすべてを咳き込んだ。)

また、Eugeneは英語を母国語とする成人をエミュレートしないことに注意してください。 それは若くてややゆるやかなウクライナのティーンのふりをして、かなり良い(しかし完璧には程遠い)英語で会話しています。 プログラムの開発者の1人であるウラジミールヴェセロフは、 Mashable.comに次のように語っています。「信頼できる性格のキャラクターを開発するのに多くの時間を費やしました。」 「すべてを知っているわけではありません。」ユージンはすぐに出て、彼の年齢と国籍を発表しません。 しかし、彼は尋ねられればそれを明らかにします-そして、最終結果は、特に英語の文法と単語の使用に関して、裁判官からのある程度の寛容かもしれません。 (土曜日のほとんどの裁判官は英語を母国語としていますが、これは確かにわかりません。)Eugeneが裁判官としてウクライナ語の母国語話者に出会ったことがあれば、テーブルはおそらく変わっていたでしょう。

トーキングマシンの構築に苦労しているのは、言語がいかに複雑であるかを強調しているからです。 それは話すだけの問題ではありません-あなたは何かについて話さなければなりません、そしてあなたが言うことは意味をなさなければなりません- そしてそれは他の人がちょうど言ったことの文脈で意味をなさなければなりません。 私たちにとって、それは簡単です。 コンピュータ用ではありません。 そのため、チャットボットはさまざまなトリックに依存しています。メガバイトの定型応答を記憶したり、インターネットで現在の会話に近い会話を探したりします。 言い換えれば、マシンのインテリジェンスに欠けるものは、生のコンピューティング能力を補うことができるかもしれません。 これが、GoogleまたはSiri(iPhoneパーソナルアシスタント)が私たちにとってとても賢いように見える理由です。Siriは「心」を持たないかもしれませんが、膨大な情報データベースにアクセスでき、まるでそうすることができます。 IBMの「Watson」がJeopardyで勝つことを可能にしたのは、同じ種類のブルートフォースアプローチでした 2011年に。

このすべてが重大な問題を提起します。チューリングテストが測定しているのは正確には何ですか? 一部の批評家は、それが知性よりも報酬の策略であると示唆しています。 NewYorker.comで執筆中のNYU心理学者Gary Marcusは、ユージーンが「プログラムの限界を隠すために設計された一連の「策略」を実行することで成功した」と語っています。懐疑的で、 ガーディアンに 、ユージーンがチューリングテストに合格したと主張するのは「完全なナンセンス」であると告げる。 (彼の功績によると、チューリングはこの問題をよく知っていました。彼は自分の考えを「模倣ゲーム」と呼び、知性については控えめに語っていました。)さらに厄介なことに、人間とは異なり、コンピューターは欺かざるを得ません 「チューリングテストは、うそつきの成功のテストです」と、フロリダ州ペンサコーラにある人間と機械の認知研究所のコンピューター科学者であるパットヘイズは、2012年のチューリングテストマラソンに続いて私に語った。 「チューリングの模倣ゲームに本当に合格できるものがあれば、非常に成功した「人間の模倣」になります。」

そして、「人間」がもう1つの重要なポイントです。世界には、私たちの種によって示される種類を超える他の種類の知性がある可能性はないのでしょうか。 真にインテリジェントなマシンには、数え切れないほどの実用的なアプリケーションがありますが、なぜより多くの「人」を作成することに焦点を当てるのでしょうか? 結局のところ、すでにたくさんの人がいます。 言語学者のノーム・チョムスキーが指摘したように、水中で動く機械を構築しようとするとき、「泳ぐ」必要はありません。潜水艦は背泳ぎをすることができないという点で劣りません。

はい、ユージーンは印象的です、少なくとも小さなバーストで。 それでも、最高のチャットボットでさえ、ユージンのふりの年齢の半分の子供が簡単に処理できるという質問に出くわします。 おそらく驚くことではないかもしれませんが、ほとんどのAI研究者はチューリングテストに夢中になります。 マシンインテリジェンスは、実際、前進しており、むしろ迅速に進んでいます。 ほんの数年前にかなり哀れだった音声からテキストへの翻訳ソフトウェアは、言語翻訳プログラムと同様に急速に改善されています。 Amazonでは、購入する前に何を購入したいかについてかなり良い考えを持っていることがよくあります。 そして、Googleの自動運転車は10年前には単なる幻想だったでしょう。 しかし、私たちが再発見し続ける会話は本当に難しいものであり、AIが最も明るく輝くフロンティアになる可能性は低いです。 今のところ、チャット相手を探しているなら、本物の人間をお勧めします。

ダンフォークはトロントに拠点を置く科学ジャーナリストです。

チューリングテストは何かを測定しますが、「インテリジェンス」ではありません