最快的移动端StableDiffusion模型——SnapFusion

首页 > 行业观察 > 最快的移动端StableDiffusion模型——SnapFusion

新知榜官方账号

2023-11-24 08:34:19

AI作图需要几天，再缩减到几十分钟，再到几分钟，出图时间在不断加速，问题是，究竟快到什么程度，才会在专业的美术从业者甚至普通大众之间普及开来？这个无法给出具体答案，但是可以确定的是AI作图在技术和速度上的突破，很可能已经接近甚至超过阈值。

最近，Snap研究院推出最新高性能StableDiffusion模型——SnapFusion，已经算是“一秒出图”的StableDiffusion模型了。通过对网络结构、训练流程、损失函数全方位进行优化，在iPhone14Pro上实现2秒出图（512x512)，且比SD-v1.5取得更好的CLIPscore。StableDiffusion模型是当前最热门的文本到图像（texttoimage）生成扩散模型。虽然在图像生成方面很强大，但所需的计算资源极大且推理碎度很慢。对于推理速度慢的问题，目前主要有2种解决方向：（1）减少推理步数（2）工程技巧优化。此次SnapFusion主要是对UNet进行优化，具体分为两部分：（1）UNet结构上的优化：通过分析原有UNet的速度瓶颈，本文提出一套UNet结构自动评估、进化流程，得到了更为高效的UNet结构（称为EfficientUNet）。（2）推理步数上的优化：众所周知，扩散模型在推理时是一个迭代的去噪过程，迭代的步数越多，生成图片的质量越高，但时间代价也随着迭代步数线性增加。为了减少步数并维持图片质量，Snap团队提出一种CFG-aware蒸馏损失函数，在训练过程中显式考虑CFG（Classifier-FreeGuidance）的作用，这一损失函数被证明是提升CLIPscore的关键！

通过下表1，我们可以看到SD-v1.5与SnapFusion的差距：SnapFusion模型的速度提升来源于UNet和VAEdecoder两个部分。UNet部分的改进最大：一是单次latency下降（1700ms->230ms，7.4x加速），这是通过提出的EfficientUNet结构得到的；二是Inferencesteps降低（50->8，6.25x加速），这是通过提出的CFG-awareDistillation得到的。如下图所示，SnapFusion对比SD-v1.5texttoimage，实现了推理时间大幅缩减并维持图像质量不降。CLIPscore衡量图片与文本的语义吻合程度，越大越好；FID衡量生成图片与真实图片之间的分布距离（一般被认为是生成图片多样性的度量），越小越好。

StabilityAI再放大招，UncropClipdrop一键扩图+重构

近日，StabilityAI联合Clipdrop推出了UncropClipdrop，可帮助用户一键扩展图片边界、改变尺寸。这个Uncrop功能，这个有点像Photoshop的GenerativeFill的图像扩充功能。Clipdrop称其为AI生成的“涂色”工具，可以通过创建扩展背景来补充任何现有照片或图像，从而改变任何因像的比例。Uncrop基于stabilityAI的文本到图像模型StableDiffusionXL。Uncrop允许用户通过重建图像和扩展他们的视觉面布来调整尺寸。比如横图变竖图，竖图变横图等。

Uncrop的使用方法非常简单：只需几个简单的步骤，用户就可以上传裁剪过的或不完美的因像。第一步：上传图片。第二步：选择要更改的尺寸，目前Uncrop支持最大尺寸是1024x1024。第三步：点击Next生成效果。Uncrop会生成很多效果，可以点击向右按钮进行查看。第四步：用户还可以结合其他功能对图片进行编辑，例如，选择一个“点燃”特效。第五步：可随意更改效果灯的位置和亮度，为图片增加艺术效果。

本页网址：https://www.xinzhibang.net/article_detail-20961.html

寻求报道，请

关键词

StableDiffusion SnapFusion texttoimage

分享至微信：

相关工具

Copy.ai

人工智能营销文案和内容创作工具

Typeface AI

AI创意内容创作助手

Compose AI

免费的Chrome浏览器自动化写作扩展

Notion AI

Notion推出的AI内容创作助手

智搜

Giiso写作机器人，内容创作AI辅助工具

爱改写

AI改写、纠错、润色辅助工具

4个好用的AI写作神器，提高你的写作效率

AI写作工具可以提高写作效率公文写作建议大家自己写，AI写作工具只能作为辅助使用。对于简单的公文写作任务，AI写作工具确实能够提高效率，但需要注意内容质量、抄袭风险和格式规范等问题。本文介绍了4个好用的AI写作神器，支持生成多种类型的文章，可根据关键词一键生成内容，提高写作效率。以下是4个AI写作工

AI写作公文写作SEO关键词

12-11 08:17

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。在现代社会中，中国式的浪漫仍在不断地创新与融合。现代新人在婚礼上常常选择中式的婚纱，

中国式浪漫爱情传统文化

12-07 22:20

如何用AI提高效率

如何用AI提高效率在当今高速发展的社会中，效率是企业和个人都非常重视的一个方面。而随着人工智能技术的发展，越来越多的企业和个人开始尝试利用AI来提高工作效率。首先，AI可以帮助企业和个人自动化一些重复性的工作，比如数据处理、文件整理等等，从而节省时间和精力，在更短的时间内完成更多的工作。其次，AI可

AI效率提高

12-07 08:00

美空军测试钢制碎片对铝制燃料箱的影响，评估前者对后者的穿透

美国航空航天学会（AIAA）主办的出版物《美国航空航天》（AerospaceAmerica）刊登了AIAA对2018年航空技术进展的年度回顾。该回顾中对于第一章“航空航天设计与结构”的AIAA共发表8篇回顾，如下：《结构动力学：设计世界上最大的风力涡轮机》（StructuralDynamics:De

美空军钢制碎片铝制燃料箱

12-04 08:20

How was the 7nm chip in the Huawei Mate 60 Pro produced in China?

How was the 7nm chip in the Huawei Mate 60 Pro produced in China? Dataderivedbybenchmarkingplatformsandthird-partyteardownreportsindicatethattheKirin9

HuaweiMate60ProKirin9000S7nmchiplithographyDUVEUV

12-04 08:18

Visual Studio Code配置类插件推荐

Visual Studio Code配置类插件推荐在前端开发中，有一个非常好用的工具，VisualStudioCode，简称VScode。都不用我安利VScode，大家就会乖乖的去用，无数个大言不惭的攻城狮，都被VScode比德芙还丝滑的强大功能所折服。我是来给大家安利插件的，想做个比较全面的插件集

VScode插件配置工具

12-04 08:17

魔兽服务端开服源文件各文件翻译

魔兽服务端开服源文件各文件翻译很多文件在服务器中我们知道是跟什么有关，但就是不知道其作用是什么。就算我们知道在这些地方中的文件都是有着不小的作用。但是由于不知道各个文件代表的是什么意思所以在面对这些文件的时候都会有无从下手的感觉，所以今天就来对这些比较重要的文件名进行翻译让我们能够知道这些看不懂的文

魔兽世界服务端文件翻译

12-04 08:16

StabilityAI推出最新的图像生成模型StableDiffusionXL1.0

StabilityAI推出最新的图像生成模型StableDiffusionXL1.0北京时间7月27日，StabilityAI宣布推出最新的图像生成模型StableDiffusionXL1.0，该模型包含35亿个参数，能在“几秒钟内”生成多种长宽比的100万像素分辨率的完整图像。StableDiff

StabilityAIStableDiffusionXL1.0图像生成模型

11-24 08:35

AI写作的优势与应用

引言：AI写作的概念AI写作是指使用人工智能（AI）技术辅助或完全生成文本内容的过程。这种技术通常基于机器学习，尤其是自然语言处理（NLP）的原理。AI系统通过分析大量文本数据来学习语言的结构、语法和风格，从而能够生成流畅、连贯的文本。AI写作的应用非常广泛，从自动化新闻报道、内容创作到商业报告编写

AI写作自然语言处理创作效率

11-24 08:19

陈珊妮自曝 AI 演唱新歌甚至母带后期处理录音师都没听出

陈珊妮近日推出了全新单曲《教我如何做你的爱人》。在新歌上线数日之后，她在微博发文自曝这首歌是由AI演唱的，甚至连单曲封面也是由AI生成。据她透露，这首歌甚至母带后期处理录音师都没听出（不是她唱的）。陈珊妮在长文中分享了这首歌的创作过程。她表示，歌曲是基于自己过往专辑的全部声音文档，通过音乐制作人和演

陈珊妮AI演唱音乐制作

11-13 16:16