人像定制在AI摄影领域正变得越来越流行，主要分两个思路：

1. 直接把脸固定到模型里，后面使用大模型或lora即可文生图。
2. 根据真实摄影图像，重绘背景、服装，保持脸部不变。

由于需要对出图进行控制，目前多使用stable diffusion + PS 进行摄影出图制作，或是使用MJ进行初步生成，后再用stable diffusion进行脸部的固定。

训练人脸模型出写真

直接将人的面部特征融合到模型中，如大模型或LoRA，来生成具有高度逼真度和细节的人像图像。

优点：可以快速生成大量不同风格和场景的定制图像，且每一张都保持着高质量的视觉效果，光影自然。

缺点：训练出的模型效果，和客户提供的素材、大模型的选择、出图模型的搭配上都有着比较大的关系，可能会存在不像本人的情况。

现推荐用SDXL大模型训练人脸lora，训练成功率高，且SDXL模型出图质量高。

人像模型出图案例：

儿童摄影

训练篇

lora训练器准备，新手推荐使用秋叶lora训练包，下载地址可见秋叶的B站视频详情

下载后直接解压

然后双击国内加速更新，更新到最新版

双击启动脚本即可打开一个网页

可选用新手或专家模式，填写相关参数进行训练

数据集准备

对于初学者来说，理想的数据集格式是将人像准备成大头照形式。

这样做的主要好处是简化了模型训练的复杂性，它避免了处理背景的需求，使得模型能够更专注于面部特征的捕捉和学习，减少服装、背景对出图的影响。

如果已经是进阶者，可尝试面部与半身、全身照一起训练，同时需要对背景、服装进行处理。

准备10-20张人脸图像，尽量保证数据集质量，相机拍摄、多角度、多装扮最佳。

若数据集模糊，推荐使用超分辨率工具进一步高清化，手动去裁剪成类似正方形的尺寸。

首先看下我的数据集，是20张脸部图像：

程序打标签

（提前说下，批量处理、打标签、修改标签这个，如果有赛博丹炉可一步到位，但是赛博丹炉需要下载，还非常占地方，不介意下了几个G东西就为了打个标的可以下）

本手册介绍最简单、下载软件最少的方式。如果有赛博丹炉之类的工具，也可以去利用其他的工具来打标。

（1）图像大小处理，如果使用SD1.5模型，需要把尺寸调整成512*512，训练SDXL是1024*1024，这个工具一般是webui上自带的。

特别注意的是，自动面部焦点如果要勾选，可能会因为缺模型而运行不了，再说，如果你已经上传的是大脸照，那是不需要勾选的。

（2）模型打标签

使用webui中的WD 1.4标签器（也可能叫tagger），只要装了秋叶的整合包应该自带这个。首次运行时可能下载模型，如果下载遇到问题，可以直接下载网盘的模型，放在sd-webui-aki\sd-webui-aki-v4.1\.cache\huggingface\hub这个目录下。

链接：https://pan.baidu.com/s/19OLsNOXN16KjQlBiTekA6w?pwd=zrtz

填好自己刚刚调整好尺寸的图像地址，并填写好你的输出目录，按照图片选择模型。

对于人脸，触发词可加可不加，因为一般都会有1girl、1boy这种词，如果不加其他触发词，那1girl就是你的触发词。

选择好后，点击运行按钮。运行没问题的话，就能在目标文件夹看到很多txt文件了。

（3）手动标签处理

用一个插件：https://github.com/toshiaki1729/stable-diffusion-webui-dataset-tag-editor

把尺寸统一的图片和标签放到一个文件夹，路径写到dataset-tag-editor

需要处理什么标签？如果你是大头照，就比较简单。

在打标的时候，只需要关注：

• 去掉需要固化的特征词

只关注lips、nose这两个单词，但是teeth之类不用去，而这两个词自动打标的时候都有。

平时自动打标出来，我也只去掉lips、nose，但是red lips不去掉，因为这个是关于妆容的标签，我不想让模型觉得我就应该有妆容。

• 注意眼神方向

是looking at viewer（看向观众），还是 looking down， looking up，looking to the side，looking away，这个一定要看好，别看向旁边的也标一个looking at viewer，到时候出图出斗鸡眼（虽然我现在出图也有时也会斗鸡眼，但注意这个之后会好很多）

• 关注是否有其他元素打标错误

去掉无关内容，添加漏标内容。

漏标这里建议只关注特殊表情的打标。头发颜色、眼睛颜色之类的，可以不那么追究，影响不大，只在重要标注上保证大方向没错。

点击加载，就能看到右边有标签出来了。

你可以点击某张图，去具体地修改标签，也可批量删除和添加标签：

上面是对所有图像做编辑，单张编辑是：

想翻译，直接右键翻译。但我不习惯中文，英文的话会更准确些，可以用中文做初步筛选，然后用英文再检查下是否有错误，有漏标。

准备训练

标签处理好后，找到秋叶lora训练包里的train文件夹，先建立一个文件夹，名字随意，把刚刚改好的标签和图片文件夹拷贝到这，改名为 数字_名字，如20_ajia（注意，这里必须是下划线_，不能是横杠-）

这个数字代表每轮训练，一张图片学多少次。人脸可以选择20。

如果是人脸和全身半身混合训练的话，就可以在ajia文件夹下建立多个文件夹，用不同的数字去控制repeat数。

这样说一下，大家就应该能比较理解为啥要一个文件夹再套一个文件夹了。

不过咱们先不考虑这么多，先训脸，把基本的操作都熟悉了，后面再想进阶操作。

开始训练

以下是基于秋叶 lora 训练包的设置推荐。

sd1.5模型

直接选用新手模式即可。

底模路径设置

请更改底模路径，没有预期底模的，推荐使用sd1.5的base模型先进行实验。

不要用二次元底模训练真实人像。

数据集路径设置

首先请保证你的数据集是512或768附近的尺寸。本次训练大脸图，推荐的训练尺寸是512512。

*如果是训练衣服、或者写真风格，可以是512*768的长图，可以不同尺寸混用。

其次，保证你的数据文件夹内，有已打标的txt。

数据集放在train文件夹下，（其实放哪里都行，只要保证你是img/20_name/的格式）

文件路径写到img这个层级，比如：

其他参数：

我是20张图片，repeat20（就是文件夹前那个数字），epoch10，batchsize1，其他参数默认即可。

根据不同的数据量，进行调整即可。

sdxl模型

以下设置适用于显存24G的机器，其他设置我还需要去尝试下才可以

需要点到专家模式去设置，需要选择lora模式为

底模路径写好，选择SDXL的底模，我没有用VAE。

训练路径写好，比如我的训练路径是./train/star9，那么star9下应该包含20_star9的文件夹，在文件夹下才是我的图片和标签。

注意，训练SDXL的图片要是1024*1024的。

bucket_reso_steps这个设置，提示SDXL可以用32的，我就调成了32。

保存设置，这里我的模型保存精度选择bf16：

因为我训练的精度也选的是bf16，速度优化选项里可以看到：

训练相关参数没改啥，一般我都是step20，epoch10。

如果显存小，也可以只训练unet试试。

优化器和学习率，建议默认。

可以把网络维度改成64，再高就不需要了。显存低的试试dim32，出来的lora模型是217MB，如果是64，出来的是435MB。

如果显存够，可以直接参考我的配置。如果显存较小，可以调整bf16为fp16，dim为32。

出图篇

lora 出图基本步骤：

1、选择好模型，写好相关提示词。

lora 出图选择模型是比较自由的，但会出现 lora 在某个模型上不像的情况，如果一定要用某个底模，可以直接在那个底模上进行训练。

目前在 SDXL 中用同一模型训练和出图会比较好，SD1.5 模型容易过拟合，破坏原模型出图质感。

2、在提示词中加入自己脸部 lora。

需要调整参数看看效果，若有触发词请打好触发词。

3、开启修脸插件。

用大脸照训 lora，就是为了配合修脸插件去使用的，不要期盼模型直出好脸，二次细化是必要的。

尤其是出远景，SD1.5 有些模型本身就是崩的，必须要修脸插件搞回来。

插件推荐下载after Detailer，在webui中可直接安装。

固定人脸换服装背景

更加注重个性化的创作过程。基于真实的摄影图像，使用AI工具重新绘制背景和服装，同时保持面部特征的真实性和精准度。

这种方法允许在保持客户面部自然表情的同时，创造出全新的环境和风格，适合线下摄影、商业摄影使用，有了模特后，随时随地更换出图场景，不需要去费劲找外景。

优点：面部不变，客户接受程度更高。不会冲击到线下摄影馆，能保持客户参与度，作为一种吸引客源的方式。对于快节奏的商业人像摄影来说，这种方法不限制场景，省钱省时。

缺点：对光线掌握要求较高，使用AI重绘可能无法完全复制现场氛围和独特的光线效果，需要一定的控光技巧和PS技巧。

摄影馆出图案例：

基本思路：

蒙版重绘+姿势Controlnet

（1）抠图

抠图之前先处理下图片大小，我的图像处理成512*768了。

其次，我们需要保证皮肤部分不变，可以先把皮肤部分抠出来，当然你也可以只抠脸。

这里要用到的是segment anything插件，左键黑点代表需要抠出的部分，右键红点代表需要排除的部分，然后点击“预览分离结果”。

选完后运行，可以看到三个结果，此时选择你认为最好的那个，勾选复制到局部重绘。

然后发送到重绘蒙版。点完后，上面不会显示图片，但其实已经加载上了。如果运行时会报错，就手动保存下图片去上传吧。

（2）重绘设置

唯一要注意的就是要选择重绘非蒙版内容：

（3）controlnet设置

第一个controlnet：

为了保证背景内容不受影响，可以按照上述sam的抠图方法，把人物抠出来。

保存彩色图像，上传controlnet，选择写实线稿：

第二个controlnet：

选择openpose控制即可

（4）出图

选择一个你喜欢的模型出图，出图尺寸为512*768，不要勾选重绘放大，勾选的话会影响出图效果。

可以写提示词出图，我选用的是麦橘的平行时间模型，写了花朵提示词，抽下卡。

找到你喜欢的构图后，保存，后续会使用脚本放大的方法去放大图像。

我这个抠图时没有保留发型，所以头发也会变，根据自己需求去抠图即可。

（5）图生图+tile+脚本放大

点击图生图，把生成的图像拖进去。

重绘幅度选择0.2。

页面滑到最下方，选择SD upscale，根据图示选择：

controlnet选择tile，姿势和线稿无需启用:

全部设置好后，点击生成。

出图之后，如果脸变了，也没关系，因为最后还可以把脸和手再P进去

（6）PS修图

其实现在脸的问题不大，没变太多，主要是这个手。

可以把原图拉进来，用透明图将两个图像对齐后，使用橡皮擦工具，擦去生成的图片部分，然后用画笔处理边缘（我PS不精通，就大概是这个意思）。

如果觉得色调不太统一，可以去进一步地调色。

使用重绘生图的好处就是，生成图像会大致参考原皮肤的色调，出图不会那么突兀。

当然你也可以选择使用线稿控制，直接使用线稿、姿势等控制文生图后，把人物的脸用PS擦进去，调色。

---

本文转自下方知识星球内《AI绘画》大航海，现在加入AI破局俱乐部，享受市面上价值数千的专业训练营，比如AI绘画、AI数字人、AI提示词等等。完全免费。想要踏入AI领域？快来扫码加入吧！

微信扫码加入后，可免费领取我的价值99/年的副业星球。（联系微信4314991邀请你加入）

本文转自教程《AI绘画》，获取全套教程，可关注上方李又懂的公众号，后台回复【AII绘画】免费获取全套教程~