天下苦GPT检测器久矣!用AI的怕被揪出来,没用AI的怕被冤枉

新知榜官方账号

2023-07-04 00:04:34

最近,又发生了一起被AI误判的冤假错案。离了个大谱!一位美国教授为了解决学生用AI作弊的问题,决定用「魔法」打败「魔法」。但完全没搞懂原理的他,在「查重」时竟然用的是ChatGPT。于是,同学们辛辛苦苦码出的毕业论文,通通被胡说八道的ChatGPT判定为「抄袭」。而教授不仅据此挂掉了半个班的人,学校也拒发毕业证……甚至,这件事直接火到了大洋彼岸,一度登上了微博的热搜。

那么问题来了,ChatGPT能证明一篇文章是不是自己写的吗?ChatGPT一上来就表示,自己并没有能力验证内容的原创性,以及是不是由AI生成的。连OpenAI对于自己的官方ChatGPT检测器,也只能保证26%的「真阳性」正确率。他们还特地发了官方声明给大家打预防针:「我们真的不建议孤立地使用这个工具,因为我们知道它可能出错,使用AI进行任何种类的评估都是如此」。

那么,为什么我们想检测一段内容是不是AI生成的,就这么困难?Turnitin的AI副总裁EricWang称,用软件检测AI写作的原理,是基于统计学。从统计学的角度来看,AI与人类的区别在于,它极其稳定地处于平均水平。「像ChatGPT这样的系统就像是自动补全的高级版本,寻找下一个最可能要写的单词。这实际上就是它为什么读起来如此自然的原因。AI写作是人类写作中最可能的子集。」Turnitin的检测器便会「识别出书写过于一致的平均情况」。然而,有时人类的写作看起来也会处于平均水平。在经济学、数学和实验室报告中,学生倾向于遵循固定的写作风格,这意味着他们更有可能被误认为是AI写作。

目前,市面上已有的检测器已经数不胜数——GPTZero、Turnitin、GPT-2Output、WriterAI、ContentatScaleAI等等,但准确率都差强人意。随着时间的推移,这些语言模型的小怪癖会越变越少。不知这对学生们,会是福音还是噩耗。

本页网址:https://www.xinzhibang.net/article_detail-5101.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章