https://frosthead.com

コンピューターはエッセイを本当に採点できるか?

将来的には、コンピューターは医師、兵士、消防士、教師になるでしょう。 彼らは病気を診断し、赤ちゃんを育て、家を守り、子供たちに教えます。 ある会社は、教授や標準化されたテスト採点者の負担を軽減できるエッセイ採点コンピュータープログラムをすでに開発しています。 しかし、コンピューターは本当に注意深く作られたエッセイを評価できるのでしょうか?

edXという会社は確かにそう考えています。 彼らはすでに、学生のエッセイを採点する人工知能システムとともに、機関にオンラインコースを提供しています。 ニューヨーク・タイムズのジョン・マークオフは次のように説明しています:

EdXの社長である電気技師であるAnant Agarwalは、インスタントグレーディングソフトウェアが有用な教育ツールとなり、学生がテストを繰り返してエッセイを書き、回答の質を向上できるようになると予測しました。 彼は、生徒が成績を数日または数週間待つことが多い従来の教室システムに比べて、この技術が明確な利点を提供すると述べました。

「即座のフィードバックで学習することには大きな価値があります」とアガルワル博士は言いました。 「生徒たちは、すぐにフィードバックできるので、ずっとよく学べると言っています。」

その瞬間のフィードバックが高品質であるかどうかは別の問題です。 これらのコンピューターグレーダーの懐疑論者を見つけるのは難しくありません。 ハイステークスアセスメントにおける学生のエッセイの機械採点に対する専門家と呼ばれる1つのグループは声明を出し、コンピューターへの評価タスクの引き渡しに反対するために署名を収集しています。 彼らは書きます:

エッセイの自動採点の現実に直面しましょう。 コンピュータは「読む」ことができません。正確性、推論、証拠の妥当性、良識、倫理的スタンス、説得力のある議論、意味のある組織、明快さ、真実性など、効果的な書面コミュニケーションの本質を測定できません。

請願書は、採点のためにコンピューターに頼るのをやめるよう議員に求め、学校が自動採点システムへの購入をやめるように求めています。

Agarwalは、ソフトウェアがより優れている可能性があることを認めており、優れたエッセイと平凡なエッセイを区別するのに優れていることを期待しています。 「これは機械学習であり、道のりは長いですが、それで十分であり、大きなメリットがあります」と彼はニューヨークタイムズに語った。 また、先生は一貫していると思う人はだれでもだましていると言います。 「グレーディングの品質は、インストラクターからインストラクターまでのバリエーションに似ていることがわかりました。」

実際、いくつかの研究では、コンピューターと教師が同じ種類のスコアのばらつきがあることを示唆しています。 アクロン大学のMark Shermisによる研究では、「自動化されたエッセイスコアリングは、ソースベースのライティングと従来のライティングの両方のジャンルで同等のパフォーマンスを備えた拡張応答ライティングアイテムの人間のスコアと同様のスコアを生成できる」と結論付けました。ジャーナルに掲載されることはなく、他の研究者はその主張に疑問を呈しています。 MITのLes C. Perelmanは、Shermis論文への回答を書き、「論文の方法論と使用されたデータセットの綿密な調査は、そのような主張が研究のデータによって裏付けられていないことを示している」と書いた。

専門家グループはまた、コンピューターは生徒を評価する際に教師ほど優れていないことを示唆するいくつかの論文を引用しています。

ほとんどの場合、これは、これらのコンピューターがまだグレーディングに十分であるかどうかの問題であり、これまでにないかどうかの問題です。 しかし、ハイテクを手に入れるのは教師だけではなく、学生もそうです。 学生がプログラムが何を求めているかを学べば、ソフトウェアの仕様に基づいて完璧なエッセイを書くためにプログラムを自分で書くことができます。 おそらく将来、コンピューター化された教師はコンピューター化された生徒を評価するでしょう。

Smithsonian.comからの詳細:

エストニアの1年生のコーディングの100%を教える
警官を見る

コンピューターはエッセイを本当に採点できるか?