研究发现,检测人工智能生成文本的工具存在漏洞

新知榜官方账号

2023-07-11 08:40:42

研究发现,检测人工智能生成文本的工具存在漏洞

最近一份新研究揭示了检测人工智能生成文本的工具存在漏洞,这些工具很难找到由ChatGPT生成的文本。这意味着学生只需要稍微调整人工智能生成的文章,就可以通过检测工具。

德国柏林技术与经济应用科学大学的媒体和计算教授黛博拉·韦伯·伍尔夫(DeboraWeberWulff)与来自多所大学的一组研究人员合作,评估了包括Turnitin、GPTZero和Compilatio在内的14种检测工具,它们都声称具备检测OpenAIChatGPT编写的文本的能力。这些工具中的大多数都是通过寻找人工智能生成文本的特征来工作的,然后计算该文本由人工智能生成的概率。

但该团队发现,所有接受测试的工具都很难找到ChatGPT生成的文本,因为这些文本都被人类重新排列并被转述工具加工过。这表明,学生只需要稍微调整人工智能生成的文章,就可以通过检测工具。

南澳大利亚大学构建机器学习和人工智能模型的高级讲师维托米尔·科瓦诺维奇(VitomirKovanović)表示,这类研究也突显了大学目前评估学生学业的方法是多么过时。

Compilatio是研究人员测试的工具之一。该工具的开发者称,重要的是要记住该系统只会指出可疑段落,也就是将其归类为潜在的剽窃或可能由人工智能生成的内容。Compilatio的一位发言人表示:“文本的作者(学生)是否真正学到了知识,取决于学校和评分的老师,他们可以采取额外的验证手段,比如口头提问、在受控的课堂环境中提出额外的问题等等。”

谷歌专门研究自然语言生成的高级研究科学家达芙妮·伊波利托(DaphneIppolito)也没有参与该项目,她提出了另一个担忧。她说:“如果要在教育环境中使用自动检测系统,了解其误报率至关重要,因为错误地指责学生作弊可能会对他们的学术生涯产生可怕的后果。假阴性率也很重要,因为如果太多人工智能生成的文本被识别为人类撰写的,检测系统就没有用处了。”

此外,该研究还指出了大学目前评估学生学业方法的过时性。人工智能初创公司HuggingFace的研究员萨沙·卢西奥尼(SashaLuccioni)表示,尽管揭示所谓人工智能文本检测系统缺点的研究非常重要,但将这项研究的范围扩大到ChatGPT之外的人工智能工具将更有帮助。

最后,尽管这些工具存在漏洞,但它们并不是完全的灾难。Turnitin以相当低的假阳性率成功地实现了一定程度的检测准确性。

本页网址:https://www.xinzhibang.net/article_detail-7534.html

寻求报道,请 点击这里 微信扫码咨询

关键词

ChatGPT 人工智能 文本检测工具

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯