如何利用ControlNet与Loopback来控制图片中的光影

新知榜官方账号

2023-07-05 12:42:41

如何利用ControlNet与Loopback来控制图片中的光影

在出拟真或真人类型的图片时，常常遇到的问题就是光源太亮。在许多热门模型上，由于使用太多大白天模特儿的图片，或者摄影棚高光图片来训练，所以在弄出人物时，尽管场所设定在夜间，也会出现不自然的超高光，或者整个照片的光源阴影不遵照提示词来布局的问题。

之前介绍的StableDiffusion进阶——光影控制实战都是可行的光影控制方法，而本篇要针对的是更细微的控制，将已经生成的图片重新更改光源与阴影，且产生不同程度的明暗程度让制作者可以挑选最佳的光影成果。

方法我们先使用txt2img生成一张在夜晚森林之中的角色图：

许多时候模型生成的图片并不一定依照我们的想法来布局明暗与光影，有时候是因为模型训练时用了太多模特儿的摄影棚拍照片，或者LoRA在训练时缺乏多样化的光影，或者使用太多提示词互相牵制，导致某些强烈的光影效果被取消掉。总之，在尝试各种提示词也无法产生想要的光影时，可以试试看利用ControlNet配上Loopback的手段来产生一整批不同明暗程度的图片，再从里面挑出最好的结果。

首先，在本例中，我想要在画面中央上方制造一个月亮当作光源。我开启任意绘图软件，例如photoshop，打开新画布，选择全黑背景，然后用画笔弄出白色光源遮罩，将这张图输入到img2img里面，提示词则保持与原始图一样：光源遮罩。

接着在img2img的设定中，使用Denoisingstrength0.4这样的中等权重：img2img。

接着开启ControlNet，设定两组。第一组使用Openpose以固定图片生成时人物的姿势不跑掉，使用ContorlNetismoreimportant：ControlNet的Openpose设置。第二组的ControlNet使用canny（边缘侦测）或者normal（法线图）皆可，用以固定原始图片里面人物的形状与表情，使用ContorlNetismoreimportant：ControlNet的Canny设置。

最后，最重要的是Loopback的设定，藉由Loopback的循环输入能力，我们才能将一片漆黑的基本遮罩慢慢还原出整张图。在这边我设定10回合，且Finaldenosingstrength设定为0.75的高权重，在后几回合产生较大的明暗变动：Loopback成果。

一切都设定完成之后，就能来跑图了，等十回合都跑完后，就能来挑选图片：

从遮罩还原出图片可以看出一开始，AI在一片漆黑的遮罩之下只能勉强算出光源附近的人物轮廓，但随著成果图不断循环输入，图片会越来越清晰，且阴影分布会依照物体的相对关系和光源强弱改变。如果是使用ControlNet的canny来固定形状，有些强烈的阴影分界线会被采样进来，因此干扰了光影分布，如果是这样，可以下载Canny的图片抹掉这些额外的线条，或者可以改用normal来固定形状，但可能会造成衣服样式完全改变。

最后，我挑选了最符合我想像中的夜晚森林有月光又足够暗的图片，大约在第七张左右：

除了人物的阴影改变了，背景的森林与道路的阴影也完全不同了，更符合月光照明的氛围，基本符合我的需求！

本页网址：https://www.xinzhibang.net/article_detail-5808.html

寻求报道，请

关键词

ControlNet Loopback 光影控制

分享至微信：

相关工具

创客贴推出的AI艺术画生成工具

dreamlike.art

免费在线插画生成工具

Artbreeder

创建令人惊叹的插画和艺术

Photosonic

Writesonic推出的AI艺术插画生成工具

Cutout.Pro

AI在线处理图片

神采

让创意照进现实， AI生成创意插画

11月科技投资：AI领域融资超5亿，VRAR领域融资近2亿，第三代半导体和钠离子电池也有动静

11月科技投资：AI领域融资超5亿，VRAR领域融资近2亿，第三代半导体和钠离子电池也有动静11月，科技领域发生了多笔重大融资，其中包括AI、VRAR、第三代半导体和钠离子电池等领域。本文将对这些领域的融资情况进行介绍，并提供相应的投资策略和风险提示。AI领域11月，德国AlephAlphaGmbH

分类标签 AI领域VRAR领域第三代半导体钠离子电池投资策略风险提示

12-09 16:02

百度文心大模型3.5超越ChatGPT3.5，未来国内只有少量大模型

近日，IDC发布AI大模型技术能力评估报告显示，百度文心大模型3.5拿下12项指标的7个满分，综合评分第一。在面向新浪科技等媒体沟通中，百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜指出，新版本文心一言3.5已超越ChatGPT3.5，未来国内将只会有少量大模型。吴甜指出，大模型的终

分类标签百度文心大模型ChatGPT3.5大模型产业化

12-04 02:50

百度文心一言的起源、意义和技术原理

百度文心一言的起源百度文心一言最初是由百度公司推出的一种短语句生成工具，旨在为用户提供有趣、富有启示性的语句。每个一言都包含了深刻的思想和有趣的灵感，有时会通过幽默和巧妙的比喻来传达某些概念和情感。随着时间的推移，百度文心一言已经成为了一种文化现象，在中国的网络社区中广泛使用。百度文心一言的意义百度

分类标签百度文心一言起源意义技术原理

12-04 02:49

ChatGPT：AI已具备人类智能？

2022年12月，人工智能聊天机器人ChatGPT刷爆网络，网友们争先恐后去领略它的超高情商和巨大威力。参加高考、修改代码、构思小说......它在广大网友的“鞭策”下不断突破自我，甚至可以用一整段程序，为你拼接出一只小狗。那么，ChatGPT是如何炼成的？是否意味着AI已具有人类智能呢？ChatG

分类标签 ChatGPT人工智能自然语言生成

12-02 22:01

ChatGPT：从GPT-2到GPT-4，AI技术的边界不断扩展

ChatGPT：从GPT-2到GPT-4，AI技术的边界不断扩展ChatGPT作为一款革命性的人工智能产品，其成长历程是技术创新和社会影响力相结合的典范。自从OpenAI于2019年推出GPT-2以来，ChatGPT的发展经历了几个关键阶段，每一步都在推动着AI技术的边界。初创时期：GPT-2的问世

分类标签 ChatGPTGPT-2GPT-3

11-25 08:12

StabilityAI发布基于StableDiffusion的视频生成模型StableVideoDiffusion

StabilityAI发布基于StableDiffusion的视频生成模型StableVideoDiffusionStabilityAI发布了基于StableDiffusion的视频生成模型StableVideoDiffusion，可以根据静态图像生成几秒钟的视频，已经超越了用户偏好研究中领先的闭源

分类标签 StabilityAI视频生成模型StableVideoDiffusion

11-24 06:06

人工智能思维与人类思维的本质区别

人工智能思维与人类思维的本质区别一篇新论文认为，从ChatGPT等系统中看到的人工智能，由于缺乏体现和理解，与人类智能有着本质区别。加州大学的安东尼-切梅罗（AnthonyChemero）最近发表了一篇论文，解释了与人类思维相对的人工智能思维。人工智能的兴起引起了技术高管、政府官员和普通大众的不同反

分类标签人工智能人类智能LLMs

11-23 02:04

ChatGPT 4.0升级，更聪明、更高效、更亲切

ChatGPT 4.0升级，更聪明、更高效、更亲切大家有没有觉得，现在的手机助手越来越智能，可以回答我们各种问题，提供各种服务？这是因为人工智能技术不断发展，推出了更厉害的新版本。最近，一款名叫ChatGPT的人工智能助手就升级到了4.0版本，让我们一起来看看它有哪些新变化吧！ChatGPT 4.0

分类标签 ChatGPT人工智能助手4.0版本

11-23 02:03

ChatGPT之父山姆·阿尔特曼回归OpenAI担任首席执行官

ChatGPT之父山姆·阿尔特曼回归OpenAI担任首席执行官经过5天的反转再反转，“ChatGPT之父”山姆·阿尔特曼将回归OpenAI，担任首席执行官一职。就在几分钟前，OpenAI官方在社交平台上表示：“我们已在原则上达成协议，让SamAltman重返OpenAI担任首席执行官，并组建由Bre

分类标签 OpenAI山姆·阿尔特曼人工智能

11-23 02:02

OpenAI创始人辞职引发科技行业动荡

OpenAI创始人辞职引发科技行业动荡据路透社20日援引科技媒体“TheInformation”报道，美国人工智能公司OpenAI董事会成员伊尔亚·苏茨克维当天在给公司员工的一份声明中称，OpenAI创始人山姆·奥特曼将不会重新担任公司首席执行官（CEO），视频流媒体网站Twitch的联合创始人埃米

分类标签 OpenAI人工智能CEO

11-21 02:01