AI生成内容识别器的现状及其风险

新知榜官方账号

2023-07-04 08:32:28

众多大型语言模型生成的海量内容已经造成了信息爆炸,优质原创高质量内容可能更难被挖掘。滥用ChatGPT的风险还包含散播生成的逼真的虚假信息、新闻,以及AI生成内容本身的合法性风险。美国学校已就ChatGPT沦为作弊工具一事进行了长达数周的讨论。视觉中国资料图犹记得多年前人工智能(AI)领域热议的话题还是“人工智能何时能通过图灵测试”,即如果电脑能在5分钟内回答由人类测试者提出的一系列问题,且其超过30%的回答让测试者误认为是人类所答,则电脑通过测试。而现在,我们已经要用AI帮助检测内容是人类写的还是AI写的。2月1日,著名人工智能实验室OpenAI(ChatGPT开发团队)宣布推出AI生成内容识别器,旨在识别文本是由电脑自动生成还是人类撰写,然而似乎准确度堪忧。OpenAI在博客中指出,此识别器置信度正确率约为26%。“OpenAI自己的检测器对AI撰写内容检出成功率为26%,比扔硬币的概率都低,并对短文本和非英语语言支持不佳。”

在AI生成内容识别器的核心思想中,首先构建一个训练数据集,包含真实的内容和AI生成的内容,然后训练一个分类器来区别这两类内容。马里兰大学的研究人员即通过分类出聊天机器人生成词汇来作识别。具体而言,人工智能语言模型通过一次预测和生成一个单词来工作。生成一个词后,水印算法将语言模型的词汇随机分为“绿名单”和“红名单”,然后提示模型选择绿名单上的词。一篇文章中列入绿名单的词越多,该文本就越有可能是由机器生成的,人类写的文本往往包含更随机的单词组合。然而,这种新方法也有局限性,水印只有在创建者从一开始就嵌入到大型语言模型中时才有效。

AI生成内容识别器的效果如此一般,原因在于文本本身的信息量不如图像丰富、不同语言模型NLG(自然语言生成)的性能和风格可能有差别、训练集本身可能含有部分AI生成内容等等。滥用ChatGPT的风险还包含散播生成的逼真的虚假信息、新闻,以及AI生成内容本身的合法性风险。事实核查工作变得更加困难。目前,因担心影响学生的学习和ChatGPT生成内容的准确性,美国一些最大的学区已禁止在其网络和设备上使用ChatGPT。

本页网址:https://www.xinzhibang.net/article_detail-5269.html

寻求报道,请 点击这里 微信扫码咨询

关键词

AI 生成内容 识别器

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯