安装
ControlNet 让 Stable Diffusion 进入了可控时代。首先介绍 ControlNet 的安装方式,在扩展中搜索「sd-webui-controlnet」,点击安装,重启 SD。
在 SD 的文生图或者图生图模式下,页面往下翻可以看到有一个 ControlNet 的选项,说明安装成功。
ControlNet 插件安装好以后还需要安装 ControlNet 模型,模型下载地址:
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
总共有 14 个基础模型,依次下载模型名为「.pth」的文件,认准文件大小约为 1.45 GB 的版本。
下载完成以后放入 SD 的 ControlNet 目录下,例如:
models/ControlNet
接下来分享 ControlNet 的页面功能,逐个介绍。
启用: 是否启用当前 ControlNet 功能,如果启用多个 ControlNet,都勾选启用。
低显存模式: 如果显卡低于 6G,建议勾选该选项。
完美像素模式: 让 ControlNet 自适应预处理器分辨率,勾选以后,「Preprocessor Resolution」选项会消失。
允许预览: 预览预处理的效果。
控制类型: 相当于选择预处理器和模型的快捷目录,点击需要的控制类型,会自动加载对应的预处理器和模型。
预处理: 预处理器下拉菜单,和模型搭配使用。
模型: 模型下拉菜单,也就是下载的各种模型,每个模型都有不同的功能。
控制权重: ControlNet 输出的权重大小,权重越大,影响越大。
引导介入时机: 从哪一步开始介入图像的处理,设置为 0,则代表从一开始就介入,设置为 0.5,则代表从中间步数的时候介入处理。
引导终止时机: 和以上相反,从哪一步退出对图像的处理。
控制模式: 主要有三种模式:均衡、更偏向提示词、更偏向 ControlNet。
缩放模式: 分为三种:仅调整大小、裁剪后缩放、缩放后填充空白。
- 仅调整大小:直接拉伸,比例不对会出现变形。
- 裁剪后缩放:会丢失原图部分内容。
- 缩放后填充空白:会在原图上产生新的内容。
回送: 把生成以后的图像送回 ControlNet。
模型介绍
Canny: 硬边缘,可以很好地识别出图像中的各个对象的边缘轮廓,比较适合给线稿图上色。
low threshold 和 high threshold 的值越低,检测到的点线就越多。
启用 ControlNet 插件,输入一个简单的提示词「1girl」,然后点击生成,线稿图即可完成上色。
Depth: 通过提取原始图片中的深度信息,生成具有同样深度结构的深度图。越白代表离镜头越近,越黑代表离镜头越远。
图像的还原度较好,可以给原图生成不同的出片风格。
depth 还可以运用在家装设计上,使用该功能生成不同的家装设计风格。同样的布局,可以尝试更多的风格。
depth 有四种算法选择,Zoe 和 Midas 的 3D 景深效果还原更好,Zoe 比 Midas 还原细节上更好。Leres 可以考虑环境比较简单的平面图,Leres++是 Leres 的升级版。
Normal: 法线贴图,用来改善表面细节和真实感,相比 depth 模型保留了更多的细节。法线贴图在游戏的制作领域运用的比较多。
OpenPose: 姿势检测模型,主要用于全方位的控制人物姿势。
以下是 OpenPose 支持的预处理器,以及每个预处理器对应的功能。重点讲一下 dw_openpose_full 预处理器,这个是最近刚更新的 OpenPose 预处理器,是 openpose_full 的升级版本,识别姿势方面比 openpose_full 更精确。
如果选择 dw_openpose_full 预处理器点击预览的时候报错,那可能是预处理器下载失败,可以手动下载。


