新しいTurnitin検出ツールによるAI不正行為で学生が不当に告発される

マイルス・クレー著

ルイーズ・スティバースさんはいつも宿題をソフトウェアでチェックしてもらいました。

サンタバーバラ出身で政治学を専攻する 21 歳のスティバースさんは、法科大学院に通う予定で、カリフォルニア大学デービス校の卒業を控えている。スティバースさんは、学生が次のような盗作防止ツールを通じて書面による課題を提出することが期待される時代に育った。ターニチン。教育者はこれらのサービスを利用してテキストを評価し、既存のソースからコピーされたと思われるものにフラグを立てますが、彼女はそのサービスに一度も遭遇しませんでした。しかし最近では、学校管理者も生成 AI で完了する課題に注目しています。こうしてスティバースさんは、浮気をしていなかったにもかかわらず、窮地に陥ってしまったのです。

「私は気が狂いそうでした」と彼女はローリングストーン誌に語った。

4月に彼女が授業の1つとして論文（最高裁判所の訴訟を要約した要約だった）をアップロードしてから数時間後、スティバースさんは教授からその一部がTurnitinによってAIによって書かれたものであるとフラグが付けられたことを示す電子メールを受け取った。すでに彼女の事件は、学術的不正行為の懲戒を担当する大学の学生支援・司法事務局に送られていた。スティバースさんは当惑しストレスを感じたが、その直後に別のクラスの小テストを受けなければならなかった。それから彼女は、準備書面を自分で書いたという証拠を集め始めた。

「間違いなく非常にやる気を失わせた」とスティバーズさんは、汚名を晴らそうとする中、官僚的な悪夢が２週間以上続くことになった告発について語る。彼女は、学校の濃厚な不正行為に関する方針を解析し、制度的な支援がほとんどなく、4年生の通常のプレッシャーに直面しながら、自分の仕事を正式に弁護することを期待されていました。彼女はこれを「宿題や中間テストの勉強に費やすことができたはずの大きな時間の無駄」と呼んでいます。このように集中力が分散されたため、成績が下がり始めたと彼女は言います。

学生、教師、教育機関が、人間の文章を説得力を持って模倣する人工知能言語ボットの革命的な力と格闘する中、このような試練に直面しているのはスティバース氏だけではない。先月、テキサス州の教授は、学生がそのソフトウェアを使用して課題を完了したかどうかを評価しようとして、ChatGPT を誤って使用しました。同校は、彼が提出したすべてのエッセイを書いたと主張したため、彼はクラス全体の最終成績を一時的に保留した。

実際、スティバースさんは、自分が AI 不正行為の虚偽の申し立てと闘った最初のカリフォルニア大学デービス校の学生ですらないことを知りました。彼女が学術的誠実性審査の対象になることを知る数日前、USAトゥデイは同大学4年生で歴史を専攻するウィリアム・クォーターマンに関する記事を掲載した。ある教授は GPTZero と呼ばれる AI 検出を通じて試験の解答を実行し、肯定的な結果を返しました。教授はクォーターマン氏に不合格点を与え、スティバース氏の訴訟を裁定することになる同じ学生事務局に彼を紹介した。スティバースさんはすぐにクラスメートの窮状を知った。「彼の父親は彼を助けることができました」と彼女は言い、二人は順番に彼女に「多くのアドバイスを与え、この件について学校の方針がどのように機能するかを説明してくれました。」

それでも、賭け金は恐ろしいほど高く感じられました。スティバーズさんが受け取った最初の「非常に長い」メールには、管理者との 1 対 1 の Zoom 会話で自分の側の話を伝える機会がいつあるかが説明されていましたが、レビュープロセスや正確に何をするかについての詳細は不足していました。彼女は準備する必要があった。また、電話に弁護士を同席させる可能性もあるとも述べられており、彼女は不安を感じた。概して、彼女はこの評価の起こり得る結果について混乱しているだけでなく、何をすべきかについて「暗闇の中にいる」と感じていました。

「過去 2 四半期ですでにかなり燃え尽き症候群になっていました」とスティバース氏は言います。「そして、法科大学院に出願するときは、GPAを維持しなければならないという大きなプレッシャーがかかります。そうですね、授業をしながら学校の複雑な学業上の誠実さの方針を理解しなければならないのは、まったく楽しくありません。」実際、それは追加のストレスのかかる宿題のようなものになりました。

彼女が自分のケースを評価している教員のモデレーターと話をしたとき、Stivers さんは、Turnitin の AI 検出ツールが実際には真新しいものであり、カリフォルニア大学デービス校がソフトウェアへの「早期アクセス」を確保していることを知りました。 Turnitin はこの製品の精度が 98% であると宣伝していますが、資料の中で「誤検知のリスクがわずかにある」ことを認めています。同社は不正行為を判断する責任はないと強調している。その代わりに、「教育者が情報に基づいた決定を下すためのデータを提供」します。

Turnitin の最高製品責任者である Annie Chechitelli 氏は、ローリングストーン誌への声明の中で、Stivers 氏にソフトウェアに関するフィードバックを連絡することを奨励し、「この情報は、検出機能の改良と開発を続ける上で非常に役立ちます」と述べました。チチテッリ氏は、「いかなる場合においても、提示された情報の中にさらなる注意を払う必要があるかどうかは、教員と教師が判断する」と付け加えた。

最終的に、スティバースさんは、「Google ドキュメントを開いて履歴を確認する方法に関する段階的な指示」を司法省と共有し、大学の規則に違反していないことを証明することができた。これらのタイムスタンプは、彼女がその論文を自分で書いたことを証明していました。

しかし、スティバース教授は、不正行為の申し立ては、申請手続き中に法科大学院に自己報告しなければならないことになると指摘している。彼女によると、州弁護士会も学歴について同様の質問をすることで知られており、この誤解が彼女に何年も影を落とす可能性があることを意味している。実際、USニューズ＆ワールド・レポートは、法科大学院や州弁護士の志願者に対し、「情報開示の誤り」があれば、身元調査で判明する可能性があることを前提に「大学での懲戒手続き」を積極的に報告するようアドバイスしている。そして、教授や大学自体からの謝罪や間違いの認識もなく、彼女に有利な決定が下されたと彼女は言う。

カリフォルニア大学デービス校の学生支援・司法事務局は、ローリングストーン誌への声明の中で、家族教育の権利とプライバシー法により、個々の学生の訴訟についてコメントすることは禁じられていると述べた。しかし、同省は、人工知能の進化する問題に対処するためのポリシーが最近更新されたことを確認し、「AIと学術的行為についての意識を高め、学生と教員間の会話を促進し、学生にガイドを提供するための秋のキャンペーンを計画している」としている。新しい Turnitin AI 検出ツールについては、事務局は「このツールや他の 1 つの方法に依存せずに、その有用性を評価し続け」ており、「さまざまなツールと、生徒の作業に関する独自の分析」に依存しています。不正行為に関して決定を下す。

「明らかに、人々がそれを使用し、学生が使用し、教授が使用することになります」とスティバース氏は、ChatGPT のようなツールについて、教育者が AI 不正行為について「偏執的」になったと考えていると語る。「しかし、彼らはアプローチの仕方についてもっと注意する必要があると思います。」スティバース教授は、Turnitin の盗作と AI 検出は明らかに機能が異なるが、教授らは結果を同様に信頼できるものとして扱う可能性があると述べている。チェチテリ氏は声明の中で、このAI検出ツールは、教育者が盗作検出ツールから得られるものと同様に、文書内のオリジナルでないテキストの割合を示す「指標スコア」を含む結果を提供すると述べた。ただし、AI 側では、スコアは「ソース文書との比較ではなく、統計に基づいています」。

カーネギーメロン大学の Foundations of Cooperative AI Lab の所長であり、オックスフォード大学 AI 倫理研究所の技術 AI エンゲージメント責任者である Vincent Conitzer 氏は、この決定的な違いを詳しく説明します。

「盗作については、それを検出するための自動ツールが存在するが、学生が本当に不正行為をしたかどうかが完全には明らかでないグレーゾーンが存在する可能性がある」と彼は言う。「しかしその場合、学生の言語をコピー元のソースと一致させることで、講師や他の大学職員が証拠を直接評価するのは簡単です。」対照的に、彼は次のように述べています。「ツールが単にテキストの一部が AI によって生成されたと主張するだけで、講師や大学職員が解釈できる証拠がない場合、彼らはツール自体に対して非常に高い信頼を持たなければならないでしょう」生徒を告発するためだ。」彼は、特に内部テストと教室での応用を考慮した場合、Turnitin の「98 パーセント」という正解率のような数字をどの程度信じるべきか疑問を抱いています。

コニッツァー氏は、「現実の生活はさらに厄介になる可能性があります」と述べ、学生が「最初の草稿を自分たちで書き、その後、ChatGPT に文章を改善する方法を見つけるように依頼したり、逆に ChatGPT に最初の草稿を書いてから自分で書き直すように依頼したりする」というシナリオについて説明しています。あるいはその2つの組み合わせです。」彼の意見では、そのような必然性は、明確で強制力のある学術政策の必要性を示しています。「一般的に、これは軍拡競争が続く可能性が高い」と彼は結論付けた。

そして、教授や学校がAI不正行為の取り締まりにますます真剣になるにつれて（おそらく検出ソフトウェアの有効性を過大評価している一方で）、スティバース氏のようなさらに多くの学生が銃撃戦に巻き込まれ、学業生活を一変させることになるだろう。懲戒判決を待つ間、彼女自身が無実であるという事実さえも、彼女の心を落ち着かせるには十分ではなかった。

「不正行為をしていないことはわかっていました」とスティバースさんは言う。「でも同時に、『彼らが本当に信じてくれるかどうかは100パーセントわからない』とも思った」

アップデート、6月7日午後12時50分:この記事は、カリフォルニア大学デービス校の学生支援および法務局からのコメントを含めて更新されました。

6月7日午後12時50分更新: