すべてのポケットにカメラがあり、スマートフォンとソーシャルネットワークに顔認識ソフトウェアが組み込まれているため、写真を撮って顔を識別するのが必ずしも簡単ではないことを忘れがちです。 紛失、破損、または単にラベルなしのいずれであっても、古い写真に写っている人物を特定するプロセスは退屈です。 しかし、バージニア工科大学のコンピューターサイエンスの助教授であるカートルーサーが発見したように、この経験も非常に感動的です。
ルーサーは、ピッツバーグの上院議員ジョン・ハインツ歴史センターでの「ペンシルベニア州の内戦」展示会で2013年に彼の偉大な偉大な叔父、オリバー・クロクストンの写真を偶然見つけました。 彼はこの写真を見て、彼が見た中で最も古い家族写真であり、時を経て旅行していると説明した。
すでに南北戦争に関心のある歴史愛好家であったこの瞬間は、ルーサーに固執し、彼は他の何千人もの歴史愛好家に同じ経験をもたらす方法を疑問に思い始めました。
「私は南北戦争の写真についてもっと学び始めました」とルーサーは言います。「ユニフォーム、記章、写真家のスタジオ情報など、さまざまな視覚的手がかりを使って[人]を識別する方法について。 一方、私はコンピューターサイエンスの教授としてクラウドソーシングの分野で多くの研究を行っていましたが、これら2つのことを結びつける方法があるのではないかと考えました。」
ルーサーは彼の偉大な偉大な叔父、オリバー・クロクストンの写真に出くわしました。 （ケンターナーコレクションの提供） その結果、クラウドソーシングと顔認識を使用して、南北戦争時代の写真で未知の被写体を特定できるように、Civil War Photo Sleuthと呼ばれる無料のオンラインソフトウェアが完成しました。 2018年の公式リリースの直前に、このテクノロジーは、Microsoftの顔認識ソフトウェアの利用に関するMicrosoftのCloud AI Research Challengeで最高賞金25, 000ドルを獲得し、Human Computation and Crowdsourcing 2018カンファレンスでBest Demo Awardを受賞しました。 今週、Lutherは、ロサンゼルスで開催されたAssociation for Computing MachineryのIntelligent User Interfaces会議に出席します。
Photo Sleuthは、プロジェクトリーダーのVikram Mohantyを含むバージニア工科大学の博士課程および学部生の助けを借りて設計され、バージニア工科大学の歴史部と協力して、多面的なアプローチを使用して最も正確な識別を提案します。
プロセスの最初の重要なステップは、すでに特定された写真の大規模なデータベースを構築することでした。 これまで、Photo Sleuthには、米軍歴史研究所や民間コレクションなどの国立アーカイブから、およそ17, 000枚の写真があり、南北戦争の兵士だけでなく、当時の民間人やその他の軍人も含まれています。
ルーサーは、これらの写真にアクセスできる内戦の歴史家の既に熱狂的なコミュニティの支援を得て幸運だったと言います。すでに特定された写真の強固な基盤がなければ、ソフトウェアが有用になることはほとんど不可能だったからです。
「 Field of Dreamsのようなものではありません」とLuther氏は言います。「画像なしでサイトを立ち上げ、ユーザーがそれらをすべて追加することを望んだ場合、コンテンツがないだけのコールドスタート問題に直面します。 」
識別された写真のデータベースは、ユーザーが自分でアップロードした写真を識別するのに不可欠な役割を果たします。 ユーザーは手動でコートの色、顔の毛、軍事ランクの記章などの特別な視覚特性にタグを付け、写真は顔認識アルゴリズムを通過して、鼻や目のような顔のランドマーク間の距離などの一意の顔の比率を分析して記録します。 Photo Sleuthは、未知の写真の視覚データをデータベース内の既に特定された写真と比較し、顔の類似性と他のメタデータ（兵士にいるように見えるなど）から得られた情報に基づいて、最適と思われるものをユーザーに提示します彼らのユニフォームの記章に基づく同じユニット。 ソフトウェアは、誤った識別の可能性を制限するために慎重な手順を踏んでいますが、Luther氏は、ソフトウェアの最良の推測が提示されたときに、最終的にユーザーが最終識別を行うのはユーザー次第であると述べています。
「誤った識別を防止することを非常に心配していました」と、ルーサーは言います。
ソフトウェアがユーザーに可能な限り最良の識別情報を提供することを保証するために、Lutherは南北戦争の歴史誌Military Imagesに寄稿したコラムに概説されている方法を使用して、ソフトウェアの最初の月の識別情報の提案に関する分析を行いました。 「間違いなく一致」、「おそらく一致しない」、「おそらく一致」、「間違いなく一致」からIDを評価したところ、分析では提案されたIDの85％がおそらくまたは完全に一致したことがわかりました。 今週の会議で、ルーサーは、ニューハンプシャー州内戦の画像のコレクターであるデイブ・モリンが行った、正体不明の北軍副中portraitの肖像についての発見など、チームのフォト・スルースに関する最新の調査結果を強調する予定であると語る。 Photo Sleuthは、ポートレートの男はニューヨークの第1エンジニアのウィリアムH.ボールドウィンであると示唆しました。 ボールドウィンがニューハンプシャー出身であることを確認したモリンは、フォトスルースの助けがなければ問題のグラナイト州のエンジニアを見つけることはなかったと言います。
Kurt Lutherは、Virginia Techのコンピューターサイエンスの助教授です。 （エイミー・レフラー） この研究では、人間の歴史家とソフトウェア自体の補完的な長所も強調しています。 Luther氏は最善の努力にもかかわらず、正しい一致を特定する場合にのみソフトウェアを使用できると述べており、顔アルゴリズムの死角にある手がかりの特定を支援するためにユーザーに依存しています。
「[アルゴリズム]は、ほとんどが最新の画像で、一般的な顔認識のために訓練されています」とLuther氏は言います。 「顔を横向きにすると、AIは苦労します[プロフィール]。 今日の基準では一種の異常な肖像画ですが、19世紀半ばには一般的でした。」
チームはまた、ひげや傷のような他のユニークなメーカーを特定することにおいて、ユーザーはアルゴリズムのみよりもはるかに成功していることを発見しました。
内戦の歴史家であり、ケンタッキー歴史協会の学術資料および出版物の編集長であり、Photo Sleuthの開発に参加していないPatrick Lewisは、忘れられた物語をもたらすだけでなく、南北戦争Photo Sleuthが素晴らしいツールになると言います人生だけでなく、全国の内戦史家の共同ネットワークを構築し続けるのに役立ちます。
「ケンタッキーの新しいタグ付き写真を見てみたいです」とルイスは言います。 「[そして尋ねる]そこに集まっている人々は誰ですか？ 彼らの個々のコレクターは私が知っているべきであり、彼らが研究に興味があるかもしれない他の資料を持っているかどうか見るために彼らと連絡を取るべきですか？」
ルイスはまだPhoto Sleuthを介して個々のコレクターに接続していませんが、Kentucky Historical Society自体が既知のオンラインアーカイブの記録を作成するために働いており、Photo Sleuthのようなソフトウェアがその作業を継続する能力を劇的に向上させるだろうとルイスは言います。
今後、Luther氏は、ソフトウェアの「人間の強さを倍増する」ことを目指していると言います。これには、複数のユーザーが写真の最終的な識別に協力して作業できるようにする「Second Opinion」オプションの追加が含まれますPhoto Sleuthのユーザーベースを拡大するための物理的なアウトリーチとコミュニティ管理の拡大について。 ソフトウェアは、ユーザーが集合写真の人物をアップロードおよび識別できるようにする新しい機能を含む、一部のフェイスリフトも表示します。
「私たちの最終的な目標は、未知の南北戦争の写真をすべて特定することです」と、「[写真探偵]をより大きく、より良くします。25, 000枚の画像はほんの一滴です。」
