如果想真正把SD应用起来，最重要的两个功能是：Lora和ControlNet

ControlNet负责更好地“控制”这个“模型”或画面

Lora负责把想要画面的“主体”或“场景”炼制成模型

1、什么是ControINet模型？

ControINet翻译过来的意思就是——控制网。他本质上是一个stable diffusion的扩展插件。

我们通过前面的学习，很清楚SD依赖于扩散的方式生成图片，在生成图片时具有很大的随机性。为了得到一张满意的图片，我们往往需要不断地尝试。这种方式虽然对于自娱自乐非常足够，但对于实际工作需求来说，由于不能精确控制结果而可能影响效率，造成生产过程中的稳定性不足。

ControINet模型类似于我们之前提到的Lora模型，它们都是基于大型模型进行微调。

然而，ControINet可以实现许多之前无法达到的控制效果，并表现得十分出色。

ControINet的主要功能是通过提供额外的信息，为扩散大型模型生成图片提供明确指导。和其他模型一样，ControINet通过大量的图片数据记录对应的信息，使AI能够读懂图片。

以人物姿势为例，我们可以输入一张特定姿势的人物图，让AI生成这个姿势的人物图片。

这与之前提到的图生图类似，但ControINet记录的信息更为纯粹，排除了线条、颜色等因素，只针对姿势这个特征进行输入，从而实现精确控制。

此外，ControINet不仅仅能实现对姿势的控制，它还能控制十几种不同的方面，并可实现复合控制效果。

2、ControlNet究竟能干什么？

1.控制人物姿势

能控制生成的人物的姿势、表情，甚至是每一根手指的骨骼

2.线稿上色

3.恢复画质

4.动漫变真人

controlnet还有非常多的功能用法，具体用法会在后面的文章里面详细去讲

3、ControlNet安装

在正式学习controlnet之前，我们要先更新版本

不然有些功能没法正常使用

安装新版ControlNet分为三个步骤：

• • 下载ControlNet

• • 更新ControlNet

• • 安装预处理器

• • 安装模型

1.下载ControlNet

一般我们通过整合包安装的Stable Diffusion都已经装了有ControlNet这个插件

我们可以看看自己的SD最下面有没有ControlNet，如果没有的话要先下载插件

如果你已经有插件就直接看下一步更新ControlNet

下载ControlNet方法：

①点击状态栏里的“扩展”

②点击“加载扩展列表”按钮

③在搜索框里输入“controlnet”

④找到controlnet，点击右边的安装按钮

因为我已经下载好了，所以搜索出来没有controlnet

接下来等安装完成就可以啦

2.更新ControlNet

①打开SD的启动界面，点击最左边的“版本管理”

②点击“扩展”

③找到controlnet，点击右边的“更新”按钮

3.下载预处理器

预处理器的模型放在了网盘（网盘链接在文章最后）

下载网盘里的《1.预处理器》文件夹

里面有一个“downloads”文件夹

把整个文件夹复制到SD的文件夹里面

具体位置：SD文件 > extensions > sd-webui-controlnet > annotator

4.下载模型

下载网盘里的《2.模型》文件夹

里面有14个模型，把这些模型复制到SD文件夹里

具体位置：SD文件 > models > ControlNet

到这里我们的ControlNet就已经更新好啦

4、ControINet的操作流程

1、我们以文生图正常的先做出一张图片。

我们能看到这个图片的姿势是随机生成的。接下来我们需要使用ControINet的openpose功能控制生成图片的姿势。

2、我们保持文生图的固定操作不变。

点击下方的ControINet。输入我们需要借鉴的姿势的图片。

可以先按照我的参数进行设置，等下会详细讲解具体的参数设置。然后点击生成。

我们可以看到生成的图片的姿势是我们需要的姿势。

是不是非常简单。

3、ControINet的参数解析

1、首先，自然是我们需要点击启用。这样才会使得ControINet在生成图片进行控制。

2、低显存模式：如果电脑配置比较低的话，生成的图片清晰度又比较高，可以启用，生成图片会慢一些。

3、Pixel Perfect：高像素模式。建议选用。

4、Allow Preview：预览模式。会在你上传的图片右边再出现一个小框，出现生成之前的预览图片。

5、type：就是ControINet的不同处理模型，我们控制姿势就是使用open pose模式。剩下的模型会在之后的文章详细解释。

6、weight：是控制权重。一般默认为1。可以根据需要进行调整，但一般不要超过1±0.5。

7、Starting Control Step和Ending Control Step：这是ControINet起作用的开始时间和结束时间，一般默认0-1即可。

8、Control Mode：三个生成算法模式。一般选择Balanced均衡模式。

9、Resize Mode：这个类似我们前面学过的图片拉伸，一般默认Crop and Resize模式就可以。

Controlnet里面总共有14个模型，理论上来说就可以有14种用法

controlnet的不同功能的实现其实就是上传不一样的照片，然后选用不一样的预处理器和模型

一般情况下，预处理器和模型名字一样，是配套使用的

controlnet是辅助我们生成想要的照片的一个工具

我们的大模型和关键词也非常关键

要换照片风格一定要记得换大模型

一般情况下二次元图片用anything
真实照片可以用chilloutmix

接下来我们就看一下每一种预处理器和模型都有什么用

转自原文：

SD 进阶教学：ControlNet插件使用教程（万字长文）

本文转自下方知识星球内《AI绘画》大航海，现在加入AI破局俱乐部，享受市面上价值数千的专业训练营，比如AI绘画、AI数字人、AI提示词等等。完全免费。想要踏入AI领域？快来扫码加入吧！

微信扫码加入后，可免费领取我的价值99/年的副业星球。（联系微信4314991邀请你加入）

本文转自教程《AI绘画》，获取全套教程，可关注上方李又懂的公众号，后台回复【AII绘画】免费获取全套教程~