在VLAD版本中体验SDXL:安装、使用、注意事项、感想分享

新知榜官方账号

2023-07-14 02:15:05

在VLAD版本中体验SDXL:安装、使用、注意事项、感想分享

本文介绍在VLAD版本中体验SDXL的安装、使用、注意事项和感想分享。包括下载模型、切换模式、节省VRAM使用的设置等。

上一篇文章中讲述了在StableDiffusionwebUI中安装SDXL0.9开源版本的过程。今天就来说一下在VLAD版本中,同样可以体验SDXL。安装过程就不再赘述了,过程相同,具体可以看:与Midjourney相比,SDXL究竟有多能打?

StableDiffusionXL1.0体验

现阶段无论是SD-XL还是Vlad的SD-XL支持,都属于beta阶段,所以这篇心得就不谈基础的东西了。

VLAD安装、下载SD-XL0.9进入Vlad介面,前往以下地方:

一共需要下载两个模型,直接在Selectmodel中输入:stabilityai/stable-diffusion-xl-base-0.9以及stabilityai/stable-diffusion-xl-refiner-0.9然后在Huggingfacetoken栏粘贴上自己的AccessToken,接着点击Downloadmodel。文件很大,需耐心等cmd中的进度条跑完。

*AccessToken有可能失效,如果发现下载失败可产生新token再次尝试。两种模型都下载好了后,建议关掉Vlad的cmd窗口后重开Vlad。

使用前提/设置/注意事项

SD-XL是基于Diffuser模型的演算法,与目前常用的1.5不同。能使用的SamplingMethods也不同(Vlad会自行调整)。最重要、影响最大的不同处如下:

  1. 以1024x1024图片训练而成,所以Text2Image时不能用1.5习惯的小图解析度,成图会很烂
  2. SD-XL的生图是2阶段过程,所以才需要下载base和refiner两个模型
  3. 更吃VRAM,但-lowvram-medvram保留的效能相对较佳
  4. 无法使用1.5的超级插件ControlNet
  5. 无法使用1.5的VAE
  6. 可以使用TextualInversion、LoRA,但无法使用1.5的,必须另外训练
  7. 无法使用LyCORIS

因为上述4~6的缘故,以及现阶段还没有其他的衍生模型出现,所以SD-XL目前的客制化能力比不上1.5。

切换模式的方法实际使用方面,最重要的是:使用SD-XL需要切换Vlad的模式。虽然Vlad的Settings>StableDiffusion页最底部有选项:original=1.5/2.0/2.1模式|diffusers=SD-XL模式但更干脆直接的方式是自己制作类似A1111的webui-user.bat,直接启动时切换。请自己新建的.txt文件后更改扩展名为.bat,输入以下内容储存后放到和webui.bat相同的文件夹中,然后启动Vlad时使用自己建立的.bat切换模式。

1.5/2.0/2.1模式:

@echooffsetPYTHON=setGIT=setVENV_DIR=setCOMMANDLINE_ARGS=--backendoriginalcallwebui.bat

SD-XL模式:

@echooffsetPYTHON=setGIT=setVENV_DIR=setCOMMANDLINE_ARGS=--backenddiffuserscallwebui.bat

请注意:切换模式是常驻状态,也就是切换为SD-XL模式后就会维持SD-XL模式,直到你切换回1.5/2.0/2.1模式。

相关设置/注意事项

先说注意事项:Vlad的SD-XL模式似乎有memoryleak的问题,也就是绘图后VRAM的释放不完全,所以多算几张后cmd就会出现高VRAM使用量的警语,接着会跑出VRAM不足时的半成品或全黑图片,这时只能关掉Vlad重开。

相关设定|直接贴截图供参考:

节省VRAM使用的设置

dpm相关sampling演算法可以尝试更改红框中的选项比较不同

关于SamplersDPMsolveralgorithm其实不是直接和SD-XL相关,但笔者首次切换SD-XL模式时必须在这个选项套用选择后,使用DEIS等相关演算法才没有出错。

总之,SD-XL模式很多都处于实验阶段,包括无法算到一半skip/stop,所以要有常常遇到错误的心理准备。

使用感想|SD-XL就像是面对习惯完全不同的艺术家很多1.5的习惯,到了SD-XL就不太适用。最主要的有三:

  1. 需要设定refiner模型negativeprompts写太多反而会有负面效果,而且1.5的TextualInversion(deepnegative之类)是无效的。
  2. SD-XL0.9比较适应自然语言,而且风格包罗万象,所以风格方面的提示词不够明确的话,很难获得想要的风格。
  3. REFINER模型的设定位置如下图:

可以尝试none(也就是不使用)的效果,但通常很悲惨:none有refiner

NEGATIVEPROMPTS比较:

Negativeprompt:text,watermark,blurry,painting,3drender,smooth,plastic,grainy,low-resolution,deep-fried,oversaturated,

Negativeprompt:bad-hands-5,ng_deepnegative_v1_75t,extrafingers,deformedhands,polydactyl,((lowquality,worstquality,monochrome,greyscale,grayscale,watermark,text,blurry,jpegartifacts)),cropped,normalquality,((signature,username,artistname,logo)),cartoon,canvasframe,((lowres)),disfigured,badart,deformed,extralimbs,b&w,weirdcolors,duplicate,morbid,mutilated,mu

不少于2000字的重写内容,这里省略。

本页网址:https://www.xinzhibang.net/article_detail-7864.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章

相关快讯