ControlNet Tile模型实用功能介绍

新知榜官方账号

2023-09-28 02:32:53

ControlNet Tile模型实用功能介绍

五一放假回来,发现ControlNet之前没完成的Tile模型已经更新完成了,更新后的名称是control_v11f1e_sd15_tile,如果你的型号名称还是v11u,可以到Huggingface网站上下载该模型,记得要同时下载yaml格式的配置文件。注意要使用该模型,ControlNet的版本必须为1.1.107以上,如果你用的版本还是之前的老版本,记得先更新ControlNet的版本,具体怎么更新以及模型怎么下载,上一篇文章有详细介绍,不清楚的可以去看一下。以下主要介绍关于该模型几个比较实用的功能。

一、高清修复

该高清修复跟其他放大算法不一样,它是忽略原图中的细节,再根据提示词生成新的细节。这里就使用官方提供的示例来进行演示,该图片的分辨率是64*64,很小很小。将该图像放到图生图里面,正向提示词就填dogongrassland,反向提示词随便填一些通用的就行lowers,lowquality,normalquality。将出图的宽高直接改为512*512,意思就是将尺寸为64*64的图片放大成512*512的图片,又因为给到图生图的提示词比较少,所以把CFGScale提示词相关性降低,同时把Denoisingstrength重绘幅度设置大一点,其他参数保持不变。启用ControlNet,不需要预处理器,也不需要图片,模型就选择Tile模型,其他参数也保持不变,然后直接点击生成。看看最终的出图效果,修复得还是很不错的,草地、毛发等细节都表现得非常好。当然如果你的显存允许的话,图像的尺寸也还可以继续扩大,2K/4K/8K理论上都可以,一般来说8G显存出图的极限尺寸是1280*1280,12G显存的出图极限尺寸是1760*1760,这个大家可以自己尝试。

二、不良细节修复

因为该模型并不是高清修复的模型,它是忽略原图的细节,再根据提示词重新生成新的细节,这就意味着该模型可以修复原图中的一些不好的细节,这里还是以下面小狗的图像来举例。这是一张被严重损坏了的图像,眼睛、毛发、腿部等细节已经全部丢失,整张图像只保留了基本的构图。同样把该图片放到图生图里面,提示词以及其他参数全部保持跟前面不变,然后直接出图。可以看到最终出图效果保留了原图的构图,细节上的表现跟原图相比可以说是一个天上一个地上,眼睛、腿部、毛发以及草地等细节都表现得非常好。

三、增加图像细节

前面两个功能虽然挺强大的,但个人感觉实用性不怎么强,毕竟没有那么多需要修复的图像,只能做为一个备用的功能而已,但是这个增加图像细节的功能真的惊艳到我了。首先通过文生图功能得到一张场景图像。再将通过文生图得到的场景图像放到图生图里面,提示词以及其他参数跟文生图保持一致,因为在文生图里面得到的图片尺寸比较大,所以这里面的ControlNet预处理器选择tile_resample,下方的downsamplingrate值设为1.5。这个意思是先将原图缩小1.5倍,然后再根据提示词等其他相关参数重新生成对应尺寸的图像,这样就类似于前面的图像修复功能,在细节上的表现就会更加突出。如果想要更多的细节,可以缩小更大的倍数,这个依据自己的情况而定。参数设置好之后直接生成图像,出图结果如下。可以看到经过Tile模型处理后的图像在细节上的表现更加出众,天空、树木、屋顶、草地、石头、水波纹等细节都非常丰富,也更贴近于现实。这个功能实用性就很强了,如果你好不容易生成了一张构图色彩都非常满意的图像,但是细节表现比较差,就可以使用这个功能来给图像增加细节,同时该功能还可以在一定程度上给我们提供创意灵感,使用预处理器来将原图缩小较大的倍数,然后出图时就可以在保持构图以及色彩都不变的情况下得到更多的创意。

总的来说,Tile这个模型更注意于细节上的表现,对于高清出图的帮助非常大。这里也感谢ControlNet的作者,让我们这些魔法师们在施法上能有更多的选择。

本页网址:https://www.xinzhibang.net/article_detail-14065.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章

相关快讯