AI技术带来的隐忧：如何监管AI深度造假？

新知榜官方账号

2023-10-12 22:33:09

AI技术的发展和隐忧

自开年以来，ChatGPT以及其他相关的AI技术火爆出圈，企业们纷纷追逐上车，各种基于AI的创业公司也如雨后春笋般涌现。据媒体报道，仅在3月份就有近10款AI视频生成器诞生。

当AI让虚拟形象、虚拟世界的实现变得更为简单，由此也带来了更多的隐忧，利用AI工具进行诈骗的事情，或许正在发生。你能分辨出人类的真假吗？

2022年，一位60多岁大妈迷恋男星靳东的新闻传遍全网。据媒体报道，为了追星她不惜跟家人闹翻，还与丈夫分居，并自称“靳东”已向其告白，还要给她百万为她买房。但事实上，上述女士所看到的靳东只是个冒牌货，所谓的视频是短视频账号从靳东平时的采访中东拼西凑，再加上字幕、配音剪辑而成。这并非恶搞视频，背后其实是一场大型骗局，在取得大妈的信任后，骗子就会开始想办法骗取其钱财。

开年火出圈的ChatGPT和相关的AI技术，让人类虚拟化的形象变得越来越逼真。不久前，B站UP主吴伍六就用AI工具导入了奶奶生前的照片，制作出了奶奶的动态头像，又将奶奶生前的通话音频导入AI，训练AI模拟出奶奶的声音和语气，生成了奶奶的虚拟数字人，并和奶奶进行了对话。据他介绍，以目前AI的技术水平，只要样本足够多，面容、声音、语气这些都可以达到相似度90%以上。

财经网科技留意到，当前网络上流传着“特朗普被抓”“农户开始养殖恐龙”等图片，若不是因为内容委实荒诞，其实很难辨清真伪。在各个社交平台上，也有很多账号发布虚拟美女照片、视频，短短时间获得大量点赞。

“如果不知道对方是虚拟人，有人用AI在交友软件，或者是其他渠道进行诈骗的话，其实是很可怕的。”

AI技术带来的风险

AI技术带来更多隐忧输入几个关键字就能获得一段文字、一张图片甚至一个视频，科技展现了其魅力，也在某种程度上帮助人们达成了一些愿望。但是，企业为了追逐风口推出的产品良莠不齐，一些人也利用产品生成各种虚假内容，为社会带来了隐忧。

例如，用AI生成去世的奶奶这件事就引起了广泛争议，不少网友担心AI被用在不法用途上。此前，就有人利用AI发布了一张名为女仆之夜：金鸡湖游艇PARTY的海报，这场派对门票为3000元一位，可选一位专属女仆游艇陪玩，更重要的是附带了43张女仆照片供选择。此后，网友扒出照片为AI生成，并报警处理，这也是国内首例使用AI绘画的诈骗案。

AI冒充领导、熟人诈骗，AI冒充公检法诈骗，AI冒充电商客服诈骗，AI征婚交友诈骗等种种诈骗有一天可能都会出现。在全联并购公会信用管理委员会专家安光勇看来，AI深度造假可能会带来政治、经济、社会、个人隐私、冲击道德体系等多方面的风险。

如何监管AI深度造假

AI技术的发展带来了便利，但也带来了隐忧，如何监管AI深度造假？

据证券时报观点，AI作为工具并不具备判断力，其生成的结果是基于数据投喂和算力养成的综合产物，那么，这些数据是否真实合法，直接决定了AI是否能大规模应用。日前，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》（以下简称《征求意见稿》），向社会征求意见。《征求意见稿》第七条“提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责”中表示，“能够保证数据的真实性、准确性、客观性、多样性”。这意味着AIGC的研发平台要保证投喂数据的真实可靠，还要对生成的内容负责。

但是，人类社会价值观和道德观念千差万别，平台很难实现完美对齐，也很难保证内容的绝对真实性。萨摩耶云科技集团首席经济学家郑磊则指出，为了防范有人利用AI造假，已经出现了检测和识别AI产生内容，以区别人类产生的内容。AI产生内容与人类产生内容高度相似，为人们判断和甄别信息的真实性带来了很大困难。

北京社科院研究员王鹏建议，要从多元化方法出发，第一，从技术上要研发反造假技术；第二，监管部门、人民群众发现相关情况要及时举报，并建立奖惩机制；第三，让企业承担社会责任感，形成自立组织；最后，号召众人利用人工智能善的一面对生活降本增效，而非用恶的一面去破坏。

本页网址：https://www.xinzhibang.net/article_detail-16596.html

寻求报道，请

关键词

分享至微信：

相关工具

HyperWrite

AI写作助手帮助你创作内容更自信

讯飞智检

讯飞推出的智能写作SaaS工具，支持智能写作后的校对与合规审核

Jenni

AI研究文章和博客写作辅助工具

DeepL Write

DeepL推出的AI驱动的写作助手

ContentBot

AI快速写作工具

5118 SEO优化精灵

一键式生成高质量SEO文章，提高搜索引擎排名获得更多流量

AI视频生成技术原理与应用场景

AI视频生成技术原理与应用场景AI技术不仅可以生成图片，也能够生成序列帧，组成一个完整的视频。2022年10月，AI重置版《幻觉东京》发布。《幻觉东京》原本是一部记录日本亚文化人物的纪录片，作者将经过剪辑的短片交给AI美术大师，经过160小时生成3万张独立插画，再进行人工手动微调，连成了一部赛博朋克

分类标签 AI视频生成视频制作AIGC

12-07 02:08

一款名为“视频翻译”的工具：免费、能处理任意时长视频的翻译工具

一、工具介绍近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟产品，例如我之前提到的heygen和

分类标签视频翻译同声传译免费工具

12-03 16:23

AI绘画和AI编程：技术进步带来的就业危机

AI绘画和AI编程：技术进步带来的就业危机AI技术的进步带来了许多新的应用，比如AI绘画和AI编程等。然而，这些技术也带来了就业危机，尤其是对程序员来说。本文探讨了AI绘画和AI编程的发展历程以及可能带来的影响。今年，AI绘画以各种姿势刷遍了科技版新闻的头条。年初，只需要一句文字描述就能画出科幻奇观

分类标签 AI绘画AI编程技术进步就业危机人工智能程序员

12-03 16:07

视频翻译工具MyHeyGen的安装与使用

什么是MyHeyGen？MyHeyGen是一款免费的视频翻译工具，可以免费部署在个人电脑或服务器上，可以翻译任意时长的视频内容。与其他市场上的视频翻译工具不同，MyHeyGen可以处理任意时长的视频且完全免费。如何安装MyHeyGen？您可以在以下链接中找到MyHeyGen的源代码：https://

分类标签视频翻译MyHeyGen免费工具

12-03 08:38

AI数字人和虚拟人的区别及其应用场景

一、AI数字人与虚拟人的区别AI数字人是利用人工智能技术实现与真人直播形象的1:1克隆，即克隆出一个数字化的真人，包括你的形象、表情、动作和声音都会被克隆下来，让你能够拥有接近真人的表现力，它可以进行直播带货、客户服务、教育培训等各种任务。虚拟人是通过计算机生成的虚拟实体，可以是二维或三维形象。虚拟

分类标签 AI数字人虚拟人人工智能直播带货客户服务教育培训虚拟现实游戏和动画

11-27 22:12

《资治通鉴》的管理哲学

《资治通鉴》的管理哲学是以历史为参照，从政治兴衰和军事得失中总结出治国理政的经验和教训，注重人才选拔，强调品德和诚信的重要性。这一管理哲学为现代企业的管理和经营提供了丰富的参考。首先，《资治通鉴》强调了诚信和品德的重要性，建议在选拔人才时，首先考察其品德，其次才是才能。这一原则在现代企业中也同样适用

分类标签资治通鉴管理哲学人才决策组织内部结构危机管理领导力公正的管理

11-21 22:27

看看火山AI写的短篇小说：初遇，错别离，重逢，分离

在那个初秋，沈忆枫第一次遇到了刘念。她就像一束阳光，光芒四射，让人无法忽视。她像一个神话中的天使，让刘念情不自禁地爱上了她。然而，沈忆枫是高干子弟，他和刘念的环境大相径庭。刘念只是一个平凡的人，他自卑而胆怯，不敢去表白。然而，命运仿佛在和他们开玩笑，一个意外的误会，让刘念和沈忆枫的生活轨迹开始交错。

分类标签火山AI短篇小说初遇错别离重逢分离

11-21 22:26

文心一言4.0版本发布，功能更智能，插件更多

文心一言4.0版本发布，功能更智能，插件更多文心一言于11.1日正式推出4.0版本，对比3.5免费版，4.0是需要付费使用的，订阅费用59.9/月，连续订阅则是49.9/月，相比较国外GPT4.0来说，这个价格更“亲民”一些。基础版文心一言3.5在开放使用之后我也体验了很多次了，对话、写作、绘画都不

分类标签文心一言4.0版本智能AI应用

11-21 22:25

火山写作——自媒体文案神器

火山写作——自媒体文案神器火山写作是一款智能写作工具，由字节跳动旗下开发。它可以让文本更加优化和润色，让你的文案更加出彩。使用火山写作非常简单，只需要把文本输入到左侧空白区，再点击一键优化，就能得到修改和润色的版本。更牛的是，它还可以根据使用需求来定制文本风格。比如，自媒体种草文案、营销文案、学术论

分类标签自媒体文案火山写作智能写作工具

11-21 22:24

AI创作短片和配音的操作教程

AI创作短片和配音的操作教程随着人工智能技术的不断发展，各种AI创作工具也应运而生。其中，AI创作短片是近年来备受关注的一个领域。AI创作短片不仅具有创新性，而且趣味性十足。同时，操作简单，非常适合初学者尝试。首先，AI创作短片具有很强的趣味性。通过AI技术，用户可以轻松生成各种有趣的短片。这些短片

分类标签 AI创作短片AI配音智能配音工具

11-11 10:06

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway