Turnitin 的 AIGC 检测准确性存在一定的局限性,不能达到绝对准确,主要体现在以下几个方面:
Turnitin 公司声称其 AIGC 检测工具的准确率高达 98%,能够精准识别由 ChatGPT、GPT-4 等 AI 工具生成的内容。为了降低误报率,Turnitin 表示会将漏报率控制在 15% 左右,以确保误报率低于 1%。
-
高校实测数据:多所高校的实测数据显示,Turnitin 的误判率较高。例如,北京大学人工智能研究院 2024 年 3 月的测试报告表明,对于本科生课程论文,Turnitin 的误判率达到 17%,其中文科论文的误判率显著高于理科。南京大学信息管理学院测试发现,针对 GPT - 3.5 训练的检测器对 Claude - 3 的误判率高达 34%,说明模型迭代会快速降低检测有效性。
-
文化差异:东京大学的对比实验显示,同一检测工具对日语论文的准确率比英语论文低 21 个百分点,这表明文化差异也会对检测准确率产生影响。
-
语言特征判断的局限:检测系统是基于模式识别和自然语言处理技术,通过分析文本的写作风格、语法结构、词汇使用等特征来判断是否为 AI 生成内容。然而,一些非母语人士撰写的文章可能因语言习惯与 AI 生成文本相似,被错误标记为人工智能生成。
-
对短文本检测效果不佳:Turnitin 的 AI 检测准确性会随着文本的增加而提高,对于较短的文本,检测的准确性可能较低。虽然 Turnitin 已将 AI 检测的最低字数要求从 150 字增加到 300 字,但短文本检测的准确性仍有待提升。
-
逃避检测的可能性:一些人可能会对 AI 生成的文本进行巧妙改写和调整,使其逃避检测。例如,通过对 AI 生成内容进行深度改写,改变句子结构、词汇选择等,可能使检测系统难以识别。
虽然 Turnitin 的 AIGC 检测有一定的准确性,但在实际应用中存在误报和漏报的情况。在使用其检测结果时,需要综合考虑各种因素,不能完全依赖该检测来判断文本是否由 AI 生成。
上一篇:
英文论文查重的作用? 下一篇:
SCI论文查重系统:iThenticate/CrossCheck英文检测系统!
原文地址:https://www.qkcnki.com/ywcczs/4979.html 如有转载请标明出处,谢谢。