复旦大学推出用于AI生成文本检测的测试软件“谛听”

新知榜官方账号

2023-07-07 05:36:39

在GPT-4让AI更加具有像人一样的能力，AI生成的文本的流畅度也令人惊叹，越来越难以辨识。在这一背景下，AI检测文本工具可以通过对生成文本进行追踪和检测，来识别文本是否由AI生成，这也成为防止大型AI语言模型用于作弊等行为的利器。日前，复旦大学自然语言处理实验室推出了一款用于AI生成文本检测的测试软件“谛听”（英文：Sniffer），基于黑盒假设，无需大规模监督训练，就能检测AI生成的文本。据该软件的英文版本介绍，对于ChatGPT生成文本的检测率达到80%左右。实验室负责人邱锡鹏教授3月16日晚间在微信朋友圈上表示：“后续将会在MOSS语言模型开源后，将Sniffer与MOSS进行联动，构成一对矛与盾，相互提升，继续探索大模型的新技术。”上个月，邱锡鹏告诉第一财经记者，如果优化顺利，MOSS将于3月底开源。团队表示，未来“谛听”软件工具还将支持GPT-4等更多大模型等检测，并在检测性能提升后整理公开模型。不过团队坦言，由于“谛听”的模型是建立在“黑盒假设”下，因此对于输入文本的来源模型并不知晓，而且与监督训练的分类器相比，将仅使用少部分数据进行训练。值得注意的是，测试集的检测结果显示，该模型中文检测的准确率低于英文，因此中文检测结果还需要进一步提升。

根据“谛听”的英文版介绍，在保留的测试集上检测结果显示，识别ChatGPT生成文本的成功率在80%左右，识别人类书写文本或GPT-2生成文本的成功率高于90%；非常短的文本（50个单词或更少）很难被检测到。此外，英文人工编写的示例文本来自维基百科。“谛听”英文检测结果分为四类：来自人类；来自人类、但可能有大模型如GPT-3辅助；来自GPT-3模型；来自GPT-2模型。“谛听”中文版的检测结果分为三类：一是“文本是人写的”、二是“文本是人写的，但是也很可能包含AI参与”、三是“文本是出自于AI模型的”。3月17日，邱锡鹏对第一财经记者表示：“对ChatGPT级别的中文检测准确率目前只有约40%，不过对于小模型（3B左右的开源GPT-2模型）生成的准确率可以达到90%左右。”他解释称，中文检测的准确率低于英文有几个原因。“首先是英文采用的wikipedia数据集进行特征提取，因此覆盖面更广，中文选择的数据质量差一些，这也是我们发布beta测试并且正在改进的地方；第二个是中文大模型的tokenizer（分词器）差异会大一些。”邱锡鹏说道。他还表示，关于生成文本检测，国外有一些已经发布的产品，对比下来，针对GPT-2级别的模型，准确率比较高，针对GPT-3级别的模型，检测结果还比较差。“一方面是这些模型是黑盒，我们的掌握信息有限，另一方面是这些模型生成质量很高，多样性也很好，尤其是GPT-4出现以后，相比于GPT-3.5，检测难度进一步增加了。”邱锡鹏对第一财经记者表示，“总而言之，在大模型时代，文本检测的机器评测准确率仍然较低，还需要进一步的研究。”

本页网址：https://www.xinzhibang.net/article_detail-6656.html

寻求报道，请

关键词

分享至微信：

相关工具

Warp

21世纪的终端工具（内置AI命令搜索）

Cursor

AI编程和软件开发

GitHub Copilot

GitHub AI编程工具

Hocoos

无代码AI智能在线快速创建网站

Boxy

CodeSandbox推出的AI编程助手

Visual Studio IntelliCode

Visual Studio AI辅助开发

GPTs功能测试能打败魔法的，还得是魔法

GPTs功能测试能打败魔法的，还得是魔法解决token限制问题的方法虽然之前也有很多，但都无法完成写长篇的任务。11月7日openai宣布可以做GPTs（基于GPT的应用），这事理论上才稳了。打开Explore，最上面就是CreateaGPT左边是用对话创建应用，也就是发布会上，展示用人话几分钟就做

分类标签 GPTsAIknowledge设定商量小说

12-01 12:26

如何在本地部署AutoGPT

简介AutoGPT是Github上的一个免费开源项目，结合了GPT-4和GPT-3.5技术，通过API创建完整的项目。与ChatGPT不同的是，用户不需要不断对AI提问以获得对应回答，在AutoGPT中只需为其提供一个AI名称、描述和五个目标，然后AutoGPT就可以自己完成项目。它可以读写文件、浏

分类标签 AutoGPT本地部署AI

11-28 02:06

人工智能在编程中的应用

人工智能在编程中的应用人工智能在编程中可以解决一些重复性、流程化、有固定模式的编程任务，比如代码重构、自动完成功能、误差检查、代码格式化等。这些任务相对简单、固定，人工智能可以通过模式识别和其他技术学习并执行这些任务，从而减轻人的脑力劳动，提高编程效率。然而，对于那些需要深层次思考、创新、灵活应对复

分类标签人工智能编程程序员

11-22 22:29

提示词优化工具

提示词优化工具近几个月来，GPT和MJ作为提示词优化工具被广泛使用，但是很多人仍然无法写出自然流畅的提示词，质疑AI的自然度和水平。不过，现在有一款自动生成提示词的工具可以帮助你轻松解决这个问题。例如，如果你需要使用“星域”这个词，通常会直接输入，但是这款工具可以重新生成全新的提示词，让你的文案更具

分类标签提示词优化工具AI

11-15 16:24

ChatGPT和无际Ai模型在编程学习和开发中的应用

ChatGPT和无际Ai模型在编程学习和开发中的应用编程学习和开发是当今社会中非常重要的技能。在这个过程中，我们经常需要解决各种各样的问题，比如代码编写、调试、优化等。为了帮助我们更好地完成这些任务，ChatGPT和无际Ai等大模型为我们提供了许多帮助。1. 代码示例ChatGPT和无际Ai模型可以

分类标签 ChatGPT无际Ai编程学习开发模型

11-02 10:02

OpenAI发布ChatGPT：一款强大的人工智能聊天引擎

OpenAI发布ChatGPT：一款强大的人工智能聊天引擎OpenAI发布了ChatGPT，对就那个漂洋过海万里来到中国互联网并在近期掀起浪潮的AI聊天引擎。因为它太像一个真人了，他可以详细地回答问题或者起草一份合同、甚至编译另一套全新的AI算法的代码，因此在在公众中引起了很大的关注。它可能会彻底改

分类标签 OpenAIChatGPT人工智能

10-23 01:34

谷歌投资AnthropicAI测试ChatGPT竞品Claude，硅谷AI之战升温

谷歌投资AnthropicAI测试ChatGPT竞品Claude，硅谷AI之战升温让所有打工人担忧自己饭碗不保的ChatGPT，也让坐在硅谷头部的科技巨头们开始慌了。当地时间2月3日，据报道，谷歌向人工智能初创公司AnthropicAI投资了约3亿美元，后者正在测试ChatGPT的竞品Claude。

分类标签谷歌AnthropicAIChatGPT硅谷AI竞品

10-23 01:32

微软将在Windows11中推出AI助手MicrosoftCopilot

微软将在Windows11中推出AI助手MicrosoftCopilot如今与以往不同，Windows11即将被AI“改写”。9月21日，在微软于纽约曼哈顿举行的硬件和AI功能发布活动上，即将接手Windows11和Surface业务的微软首席副总裁YusufMehdi近日推出了一款搭载全新Micr

分类标签微软Windows11AI助手MicrosoftCopilotGPT-4OpenAI

10-23 01:30

昆仑万维科技股份有限公司的主营业务和发展战略

公司简介昆仑万维科技股份有限公司的主营业务为综合性互联网增值服务，旗下包括平台昆仑在线、快乐游、软件门户Brothersoft.com、手机门户1mobile.com等。2019年公司荣获“2019年中国互联网百强企业排名24”、“北京民营企业百强2018年度第76位”等荣誉。移动游戏平台全球移动游

分类标签昆仑万维互联网增值服务移动游戏平台GXC游戏社区平台无人驾驶市场虚拟现实社交网络StarMaker

10-22 16:32

OpenAI的GPT-4是深度学习规模扩大的里程碑事件

OpenAI最新版本的语言模型GPT-4是深度学习规模扩大的里程碑事件。该公司创始人SamAltman称，GPT-4背后的驱动力是JakubPachocki。尽管OpenAI将这一成就归功于团队的集体努力，但在Altman看来，要是没有Pachocki，他们不会取得今天这样的成就。Pachocki是

分类标签 OpenAIGPT-4深度学习

10-22 16:30

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway