Stable Diffusion光线控制第2节:Lighting ControlNet

  光影在图像里可以给我们带来不同的视觉效果和情感表达，让场景更加生动、立体。 上一期介绍了3个灯光的控制技巧： 1.基础光线提示词 2.光线提示词+分割区域，细分光线影响区 3.使用指定光源图像通过CN定向生成指定光影区域 今天是第4个技巧，使用光线控制 （Lighting ControlNet）模型 ： Lighting based picture control controlnet

  地址：

https://civitai.com/models/80536?modelVersionId=85428
或：
https://huggingface.co/ioclab/control_v1u_sd15_illumination_webui/tree/main

Lighting controlnet 是一个类似depth的controlnet，同时包含了从0到1阶段的光影构图可控的目的的controlnet。 这是官方的解释，0-1意思是从文本到图像的过程。 存放目录为 models 文件夹下的 ControlNet：

  01 用法： 因为是ControlNet模型，所以使用跟其他的 ControlNet 模型差不多，只是 Lighting controlnet 模型不需要选择预处理器：

  使用一张黑白图像作为 ControlNet 的输入，如：

  白色代表光源部分，白色越白代表光线越强。 栗子 001： 输入图：

  一只海豚在夕阳下跳出海面。 提示词：

a dolphin jumping out of the water at sunset

得到：

 

  “因为该controlnet是在大量的真实数据集下去训练的，学习了现实中光影和图片的对应关系，所以在动漫等场景中应用时，需要调低权重和退出时间，可以尝试权重0.6，退出时间0.6。” 以上是官方给的提示点，会在下一个版本优化。 那什么是过拟合？使用 anything 3.2 大模型，ControlNet权重0.8，结束时间0.6，效果如下：

  非常的有艺术效果。 修改一下 ControlNet 权重0.55，结束时间不变，则有：

  看起来就很和谐了。 小伙伴们有没有发现，图片里海豚的造型奇奇怪怪？ 是因为权重减少了，同样就增加了后期的随机性，也就让图片不可控了，有解决方法吗？肯定有的： 启用第二个 ControlNet，使用 seg 如下：

  效果：

  黑白图怎么来呢？可以使用PS或者其他图片编辑器做出，或者你的图片储存库里那张你最喜欢的图片，用PS等图像编辑器做出黑白图。官方建议，做出的黑白灰度图建议模糊一些的，可以获得更好的艺术性。使用高斯模糊降低：

  当然了，想要更多的细节，就要多一些“光点”。 栗子002： 上面的栗子最后，为了控图，组合了两个ControlNet。那么灵感就来了，我使用的seg是另外的形状行不？比如人形？ 可以！ 如下组合：

  效果：

  背景太单调？修改输入图，增加“亮点”：

  提示词，增加 floating star ，星光点点：

A woman sits in front of a red moon,(floating star:1.3)

效果：

  背景细节丰富了起来。 更多栗子： 01 烟花女孩

 

 

  02 大陆风景

 

  03 渡劫的城市

 

 

  孤独的背影

 

  电梯：