热门搜素: 电商 教育 视频 健康
新知榜公众号 随时随地查看资讯 手机访问更加便捷
首页 > 行业观察 > Nightshade:新工具可对艺术作品进行数据中毒以反击人工智能公司
Nightshade:新工具可对艺术作品进行数据中毒以反击人工智能公司
新知榜官方账号
2023-10-28 06:06:18
Nightshade是一种新的工具,可以对艺术作品进行数据中毒,以反击那些未经创作者许可就使用艺术家作品训练模型的人工智能公司。使用Nightshade可以损害图像生成模型的未来迭代,例如DALL-E、Midjourney和StableDiffusion,使它们的一些输出结果变得错乱--狗变成猫,汽车变成牛,等等。
OpenAI、Meta、Google和StabilityAI等人工智能公司面临着来自艺术家的一系列诉讼,这些艺术家声称他们的受版权保护的材料和个人信息在未经同意或补偿的情况下被窃取。领导了Nightshade创建团队的芝加哥大学教授BenZhao表示,希望它能够对不尊重艺术家版权和知识产权的行为产生强大的威慑,从而帮助将权力天平从人工智能公司向艺术家倾斜。
Nightshade的工作原理与Glaze类似:以人眼看不见的微妙方式改变图像的像素,操纵机器学习模型将图像解释为与实际显示的不同的东西。使用Nightshade可以选择是否使用这种可以使数据“中毒”的工具。该团队还打算将Nightshade开源,也就是说,任何人都可以对其进行修改并制作自己的版本。Zhao说,使用它并制作自己版本的人越多,该工具就会变得越强大。
研究人员在StableDiffusion的最新模型和他们自己从头开始训练的人工智能模型上测试了这种攻击。当他们向StableDiffusion只输入50张中毒的狗的图片,然后让它自己创建狗的图片时,输出的图片开始变得奇怪--四肢过多、脸部变得卡通化。而在输入300个中毒样本后,攻击者就能操纵StableDiffusion生成看起来像猫的狗图像。这种攻击也适用于相关图像。例如,如果模型为提示“幻想艺术”抓取了一张有毒的图像,那么提示语“龙”和“魔戒中的城堡”也会类似地被操纵输出其他东西。
Nightshade不仅会感染“狗”这个词,还会感染所有类似的概念,如“小狗”、“哈士奇”和“狼”。夹杂在大量数据之中,这些有毒样本就会进入模型的数据集,导致模型失灵。如何防御这种攻击还没有最终的答案,但研究人员呼吁人们研究如何保护人工智能模型的安全性。
相关工具
相关文章
相关快讯
短视频知识人物影响力榜
新知榜独家 {{faTime.effecttime}}发布
总榜
人物 领域 粉丝数 影响力指数
{{item.manIndex}}
{{item.nickname}} {{item.field}}
{{item.fs}}
{{item.effect}}