作者： 萤火遛AI 来源： 萤火遛AI

大家好，我是每天分享AI应用的萤火君！

今天继续给大家分享 Stable Diffusiion 的基础能力：ControlNet 之画风融合。

基本介绍

首先我们来明确一个概念：什么是画风？

我通过AI大模型获取了一个答案，自认为还比较容易理解：画风是指绘画的风格，包括作者对人物、布景等的绘画手法，线条处理，色彩、色调等其他方面的处理手法，以及动画创作者的作画风格等。

本文用到的 ControlNet 类型是Shuffle，它的本意是洗牌、打散。Shuffle的预处理器会把图片中的元素扭曲组合，然后Shuffle模型会使用这些信息，结合其它SD控制参数一起生成图片。

为了更直观的感受这个处理方法，我这里用Anything模型参考“蒙娜丽莎”生成了一张图片：

从上面这个例子，我们可以看到：生成图片参考了原图的色彩、色调和一些光影效果，以及部分元素（背景中高低起伏的地面），甚至人物的发型、姿势等特征，同时图片也受到大模型的很多约束，线条的处理，人物的面部、头发、服饰等都是Anything的二次元风格。

绘制的图片既有参考图的部分风格，又有大模型的部分风格，两种风格出现在同一张图中，融合到了一起，所以我这里称之为画风融合。

如果你感觉这个说法还是有点单薄，下面会有更多的示例。不过在此之前，我想先演示下 Shuffle 的用法，以便让大家能够更快地开始自己的创作。

使用方法

对 ControlNet 缺乏概念的同学，还是要先去了解一些基础知识，参考这篇文章：Stable Diffusion基础：精准控制之ControlNet。

选择一个你喜欢的大模型，通过提示词描述你想要的画面，通过反向提示词做一些画面约束。

• 随便选择一个采样器，这里选择一个比较新的 DPM++ 2M SDE Karras，速度和效果都比较好，采样步数在20-40。

• 设置你想要生成图片的尺寸，数值越大生成越慢，一般不要超过1024；宽高比常见的有1:1、2:3、3:4、9:16等，宽高比过于悬殊，画面结构可能会崩坏，这里宽高采用了2:3的比例。

在ControlNet区域：

• 选择一个Unit，一般就是第一个；

• 上传一张参考图片；

• 勾选“启用”；勾选“完美匹配像素”，让预处理器自动识别参考图的分辨率；勾选“允许预览”，方便查看 Shuffle 预处理的结果。

• Control Type 这里勾选“Shuffle”；

• Shuffle的预处理器和模型都只有一种，勾选“Shuffle”后会自动加载；

• 其它参数先使用默认值就可以。

然后就可以去生成图片了。

绘图示例

下面是使用 Shuffle 绘制图片的一些示例。为了更全面地感受 Shuffle 的效果，我选择了多种风格的参考图，大模型使用了 AnythingV5 和 realisticVisionV51，它们分别是二次元模型和真实模型。

下面3张图的顺序都是：参考图、AnythingV5、realisticVisionV51。

如果你有兴趣，可以下载这些图片，然后在 Stable Diffusion WebUI 中查看图片生成参数，下载方法请查看文章最后部分。

####赛博朋克

文生图，赛博朋克风格，Shuffle ControlNet。参考图中的光影效果深刻影响了生成的图片。

####古风仕女

文生图，女子，Shuffle ControlNet。除了色彩很像，看这两个小眼神，好像也受到了参考图的很大影响。在真实模型生成的图片中还出现了参考图中的一些花花草草。

文生图，男子，Shuffle ControlNet。参考图是女子，也不影响生成男人。

####水墨画

文生图，女孩，Shuffle ControlNet。

文生图，山水画，Shuffle ControlNet。

####小说推文插画

文生图，女孩，Shuffle ControlNet。生成图片融合了一种很干净利索的感觉。

####工笔画风

文生图，女孩，Shuffle ControlNet。这个五颜六色的组合还挺搭的，没有庸俗感。

地

####蒙娜丽莎（图生图约束）

图生图，蒙娜丽莎，Shuffle ControlNet。

使用图生图，较小的重绘幅度，约束画面的结构，但是色彩、色调都会使用参考图的。

####二次元（线稿约束）

文生图，女孩，Shuffle ControlNet + Lineart ControlNet。

这里使用了 Lineart ControlNet 来约束画面，使得整体画面结构不变，只改变色彩和细节。

Lineart的参考图片是下面这张：

下面这几张是添加 Shuffle 生成的图片：

####总结

从出图示例我们可以看到，Shuffle 提供的画风融合能力主要在色彩、色调，以及参考图中部分元素和效果；生成图片的线条处理、人物的绘画手法还是主要由大模型来控制的。

资源下载

本文使用的模型、插件，生成的图片，都已经上传到了我整理的SD绘画资源中，后续也会持续更新，如有需要，请关/注/公/众/号：萤火遛AI（yinghuo6ai），发消息：SD，即可获取下载地址。

如果你还没有使用过Stable Diffusion WebUI，可以先看这几篇文章，了解下如何使用：

手把手教你在本机安装Stable Diffusion秋叶整合包

手把手教你在云环境炼丹（部署Stable Diffusion WebUI）

SDXL 1.0出图效果直逼Midjourney！手把手教你快速体验！

以上就是本文的主要内容了，如有问题，欢迎给我留言沟通交流。

更多AI工具，参考Github-AiBard123，国内AiBard123