公正とは何ですか？
単純な質問のように思えますが、単純な答えのない質問です。 これは、人工知能（AI）の不可解な世界で特に当てはまります。人工知能（AI）は、偏りのない素晴らしく意思決定を行うスマートで感情のないマシンの概念が急速に消えつつあります。
おそらくその認識の最も公的な汚点は、有罪判決を受けた犯罪者がより多くの犯罪を犯す可能性があるかどうかを判断するために裁判官が使用するAIシステムを駆動するデータが少数派に対して偏っているように見えると結論付けた2016 ProPublicaの調査で来ました。 COMPASとして知られるアルゴリズムを作成したNorthpointeは、結果のProPublicaの解釈に異議を唱えましたが、衝突により、最もスマートなマシンでさえどれだけ信頼すべきかについての議論と分析の両方が引き起こされました。
「これは非常にホットなトピックです。アルゴリズムを公正で信頼できるものにするにはどうすればよいですか」とダニエル・ニールは言います。 「これは重要な問題です。」
ニールは今、その議論の最中にいることに気づきました。 カーネギーメロン大学のコンピューター科学者である彼と別の研究者であるウィル・ゴアは、数年前にCrimeScanと呼ばれる犯罪予測ソフトウェアツールを開発しました。 彼らの当初のコンセプトは、ある意味で暴力犯罪は伝染病のようなものであり、地理的なクラスターで発生する傾向があるというものでした。 彼らはまた、より少ない犯罪がより暴力的な犯罪の前触れになると信じるようになったので、単純な暴行、破壊行為、無秩序な行為、および911などの犯罪の報告を含む、幅広い「先行指標」データを使用してアルゴリズムを構築しました発砲されたショットや武器で見られた人などについての呼び出し。 このプログラムには、季節および曜日の傾向に加えて、深刻な暴力犯罪の短期および長期の割合も組み込まれています。
アイデアは、火災が発生する前に火花を追跡することです。 「私たちはより軽微な犯罪を見ています」とニールは言います。 「単純な攻撃は、攻撃を悪化させる可能性があります。 または、2人のギャング間の暴力のエスカレートパターンがあるかもしれません。」
いつ、どこで予測する
CrimeScanは、予測ポリシングとして知られている最初のソフトウェアではありません。 PredPolと呼ばれるプログラムは、犯罪データの科学的分析が犯罪行為のパターンを見つけるのにどのように役立つかを見る目的で、ロサンゼルス警察と協力するUCLA科学者によって8年前に作成されました。 現在、全国の60以上の警察署で使用されているPredPolは、特定の期間に重大な犯罪が発生する可能性が高い近隣地域を特定します。
同社は、犯罪がどこで発生するかを予測する際に、ソフトウェアが人間のアナリストの2倍の精度であることが調査により判明したと主張しています。 しかし、これらの結果を確認した独立した研究はありません。
PredPolとCrimeScanはどちらも、犯罪が発生する可能性のある場所への予測を制限し、誰がそれらを犯す可能性があるかを予測する次のステップを避けます。シカゴ市は、最も関与しそうな人々の「戦略的主題リスト射手または犠牲者としての将来の射撃において。
アメリカ市民自由連合[ACLU]、ブレナン司法センター、およびさまざまな公民権団体はすべて、バイアスがソフトウェアに焼き付けられるリスクについて疑問を投げかけています。 警察の慣行からの歴史的データ、批評家は、アルゴリズムはフィードバックループを作成することができます。アルゴリズムは、近隣が「悪い」および「良い」という態度を反映および強化する意思決定を行います。バイアスのリスク-実際に報告された犯罪とは対照的に、警察の決定をより反映しています。 たとえば、CrimeScanは、犯罪を予測しようとすることから遠ざかります。Neillが言うように、犯罪を予測しようとするのは、「あなたが探しているかどうかを見つけるだけです」。
「偏見がないとは言えません」とニールは言いますが、「薬物の保有を予測しようとしていた場合よりも確実に減少します。」
次に、フィードバックループの反対側があります。 予測ツールが特定の地域で犯罪の期待を高めた場合、そこをパトロールする警察は逮捕に積極的になりますか？
「あらゆる種類のデータ駆動型のポリシングでは、方程式の両側に人間がいることを忘れるのは本当の危険です」と、コロンビア大学法学部教授で著者のアンドリュー・ファーガソンは述べています。本、 ビッグデータポリシングの台頭：監視、人種、法執行の未来。 「役員は、異なる地域では異なる脅威スコアを持つことを示唆するこれらのアイデアを翻訳できる必要があります。 そして、目の前にいる人間ではなく数字に注目することで、数字との関係が変わります。」
ブラックボックス内
現実には、人工知能は、企業の採用支援からクレジットスコアの設定、教師の評価に至るまで、日常生活に影響を与える多くの決定において、しばしばバックグラウンドではあるが役割を果たしています。 驚くことではありませんが、これにより、機械学習アルゴリズムの作成方法、それらが引き起こす意図しない結果、および一般に多くのレビューが行われない理由についての公衆の監視が強化されています。
まず第一に、ソフトウェアの多くはプロプライエタリであるため、アルゴリズムがどのように機能するかについての透明性はほとんどありません。 そして、機械学習がより高度になるにつれて、AIシステムを作成したエンジニアでさえ、その選択を説明することがますます難しくなります。 ほとんど説明責任のない不透明な意思決定は、「ブラックボックス」アルゴリズムとして知られるようになった結果です。
「このようなシステムの使用を監査したり議論したりする機会は決してありません」と、AIが社会に与える影響に焦点を当てたニューヨーク大学の研究機関であるAI Now Instituteの共同設立者であるMeredith Whittaker氏は言います。 「そして、行われた予測を支配するデータと論理は、それらを使用している人々でさえ知られていないことが多く、生活に影響を与えている人々は言うまでもありません。」
昨年秋に発行されたレポートで、AI Nowは、刑事司法、医療、福祉、教育などの問題に責任を負う公的機関がブラックボックスAIシステムを使用することを推奨しないようになりました。 AI Nowによると、ソフトウェアの作成時に多くの考慮事項が与えられる法的および倫理的な問題はほとんどありません。
「裁判官がディープニューラルネットワークを構築することを信用しないのと同じように、刑事司法などの分野で複雑な決定を下すには工学の学位で十分であると仮定するのをやめるべきです」とWhittaker氏は言います。
別の組織であるCenter for Democracy＆Technologyは、「デジタル意思決定」ツールを生成し、エンジニアとコンピューター科学者が公平で公平な結果を生み出すアルゴリズムを作成できるよう支援しています。 このツールは、多くの質問をして、想定を評価し、予期しない波及効果を特定することを目的としています。
「データの代表性、除外される可能性のあるグループ、モデルの出力が意図しないマイナスの結果をもたらすかどうかなどの問題を考えるための具体的な出発点を提供したかった」と監督するナターシャ・ドゥアルテは言います。プロジェクト。
誰が責任を負いますか？
開発者にアルゴリズムの影響の可能性をより認識させるようにプッシュされてきましたが、AIに依存する公的機関や企業にも説明責任が必要であると指摘する人もいます。
「システムを理解する設計者にこの重点があります。 しかし、それはまた、システムを管理および実装する人々に関するものです」と、法律と政策の問題についてAI Now Instituteと協力しているニューヨーク大学の法学教授Jason Schultzは言います。 「ゴムが説明責任の道に出会う場所です。AIを使用している政府機関は最も責任があり、彼らもそれを理解する必要があります。技術を理解できない場合は、使用できません。」
そのために、AI Nowは「アルゴリズムの影響評価」の使用を促進しています。これは、公的機関が使用しているシステムを開示し、外部の研究者が潜在的な問題を分析できるようにするものです。 警察署に関しては、一部の法律専門家は、彼らがテクノロジーをどのように使用しているかを明確に説明し、それを地域社会と喜んで共有することも重要だと考えています。
「これらのシステムがアカウンタビリティ、公平性、適正なプロセスの観点から設計されている場合、システムを実装する人は責任があることを理解する必要があります」とシュルツ氏は言います。 「そして、これらをどのように実装するかを設計するとき、最初の質問の1つは「これは警察のマニュアルのどこにありますか？」 警察のマニュアルのどこかにこれを載せるつもりがないなら、一歩後退しよう。
アンドリュー・ファーガソンは、彼が「監視サミット」と呼ぶものの必要性を認識しています。
「少なくとも年に一度、すべての地方の管轄区域で警察の技術に対する説明責任の瞬間があるはずです」と彼は言います。 「警察署長、市長、または市議会の長は、監視と技術の観点から納税者のドルを使用していること、彼らがお金の有効利用だと思う理由、彼らが何をしたかをコミュニティに説明しなければなりません'それを監査し、データを保護するためにやっている、プライバシーの意味は何ですか。 そして、コミュニティは質問をするためにそこにいるでしょう。」
CrimeScanの作成者であるダニエルニール氏は、AIの結果を定期的に監査するという考え方には反対しませんが、アルゴリズムが適切にフィールドテストされる前に行われることについては控えています。 彼は現在、CrimeScan裁判でピッツバーグ警察局と協力しており、少なくとも当初は「予測されるホットスポットに適切なパトロール強度を取得する」という課題がありました。
彼は、CrimeScanを適合させて、路上レベルの警察官がそれが役立つと信じるようにすることは、学習プロセスであったと彼は言います。 「犯罪を予測できるだけでなく、実際に犯罪を防止できることを示す必要があります」とニールは指摘します。 「壁にツールを投げて最高のものを望めば、それはうまくいきません。」
彼はまた、アルゴリズムに過度に遅延するリスクを認めています。
「警察官が適切な決定を下すのに役立つツールがあります」と彼は言います。 「機械が決定を下すべきだとは思わない。 意思決定支援に使用する必要があります。」
ニールは、「実際、それは常に起こることではないことを理解しています。」
