Stablediffusion软件入门教程
作者: SCS设计咨询 来源: [SCS设计咨询](https://mp.weixin.qq.com/s/JH3Zw2r_Xj4zYW9zDGAu1Q)
Stable diffusion软件:
Stable Diffusion是一款具有创新性的AI人工智能工具,它能够将原始文本转化为高品质的图像.我们可以通过对各种参数进行调整,如调整图像的细节程度、各种风格,明暗度等。总之,SD为我们提供了一种高品质、高效、个性化的图像生成服务同时方便了建筑行业中需要使用AI绘图工具的更多建筑从业者。
#1
SD的界面与基础设置
Interface and basic Settings of SD
图生图界面
建筑出图适合图生图模式,找到想要的意向图
重绘幅度
在图生图的模式中,重设幅度的数值会占些比重,重绘幅度越接近0,与意向图更接近;重绘幅度越大,相似度就越小。
出图数量
批次和数量的越大,图像生成的速度越减缓,因此对显卡的性能要求也提高;通常情况下,选1,可以进行多次调试操作;填数越多,速度越慢,也容易造成内存溢出等故障。若图像生成速度过慢,可考虑暂停并重新调整生成数量。
注:在一种模式(比如:文生图)正在出图的时候,无法选择另一种模式(比如:图生图),两种出图模式无法同时进行。
输出结果
保存根目录:[……\outputs\img2-imgimages]
#2
SD的模型分类与特征
Model classification and characteristics of SD
模 型 下 载
https://www.123114514.xyz/models
https://www.liblibai.com/ 等其他网站中下载大模型
以c站为例:
在c站右侧进行筛选模型类型
下载的模型放在根目录的这个文件夹下**【** ……\sd-webui-aki-v4\models\Stable-diffusion】, 会发现有很多不同种类的模型,我们一般常使用的有:vae,ckpt,safesentor,lora, embedding,
等模型类别。
CKPT 模 型
又称为大模型、主模型,全称是CheckPoint(检查点)。早期的文件后缀名称为ckpt,如今一般为safesentors。体积一般在几个G左右。CKPT模型决定了创作的基础方向。比如我们要进行建筑方向的创作,那么需要采用CKPT模型来加载建筑方向,而非使用人物CKPT模型等等。
Lora 模 型
lora模型其实是一种主模型的微调模型,专攻某一特点或者某一风格。文件后缀名为safesentors,体积一般在几十到几百兆不等。与 CKPT模型一次绘画只能加载一个不同,可以同时加载多个lora模型。也可以简单的将其理解为lora模型就像主模型的风格滤镜。它的加载方式就像是游戏中的MOD补丁。
注:safesentor与ckpt其实是同一种文件,也可以软件中相互转换,但相对来说safesentor安全一些,ckpt偶尔会发生乱码病毒的情况,如果可以尽量选择下载safesentor。
Embedding 模 型
相当于是一个提示词打包的功能,也可以生成特定的动作或者特征,体现某种画风,一般只有几十kb。比如我们要画一个室内效果图,但是固定一个室内往往需要几十条或者上百条的提示词:Minimalism,bright,4K,hyperquality,blacksofa,window,Sunshine,global illuminations,best quality,masterpiece,interior design,等等一大堆指向性明确的词汇。
这个时候就需要把这些词汇进行一个整合做成了一个embedding文件,只需要一个提示词,直接进行创作。常见格式为:pt,png,webp图片。
注:Embedding和lora模型的区别:
Embedding: 只有几kb或者几十kb,对效果对画风指定一般,但是有制作三视图的功能,有多视图的展现。
Lora: 是控制模型达到效果,对效果对画风指定较强,尤其在还原真实风格时,细节精度方面来说还是要选择lora模型。
功能都是给模型加一层“滤镜”,可称为“小模型”。两种模型的加载方式相同,点击生成下面show extra networks按钮,到选项卡选择嵌入/lora模型等类别。
VAE 模 型
相当于给模型增加一些滤镜,或者局部上的小细节,当然一般下载的大模型里都会自带VAE,所以不需要再加载了。
CKPT和LORA的模型后缀名称一样,如何分辨?
不要通过尾缀来确定模型类型!
https://spell.novelai.dev/ 查询模型的信息。
模型位置
#3
模型的选择与提示词
Model selection and prompt words
大模型最好要选择与之适配的模型,如何找到相适配的大模型呢?
步骤:1. 找到作者公布的模型信息,位置如下:(模型名字)(chilloutmix)。
2.去c站打开everything模式,model type选checkpoint模式,
3.把复制的模型名字(chilloutmix)放在搜索框里进行搜索,找到进行下载。
【但如果作者未发布模型信息(模型名字),可以找评论里面有用过此大模型的作者,看看能否有大模型的文件。】
Tag提示词如何写?
1. 功能: 正向提示词与反向提示词。
2. 分类思路:
画质、背景、场景、画风、光效、季节、天气、色调、风格、大师作品等
3. 格式:
· 内容:两种提示词必填,以防出现低质或者多余画面。可以使用单词或者词组或者短句。但是短句尽量不要使用:数字+色彩+事物的描述。比如:提示词为**“a black sofa”** ,AI会理解为:“black,sofa”,如图:
· 分隔:不同的关键词之间,用逗号分隔,空格或者换行无影响。
· 位置:在提示词当中越排在前面权重越高,所以主体应该放在前面。
· 词性:对画面也是有影响的,主要要考虑的是动词,也就是事物和事物之间的位置和状态;如果对画面不满意,可以继续修改动词。
4. 数值:
· 数值:为0.1-100,默认状态是1,小于1是减弱,大于1是加强。Lora模型的话,尽量控制在1以内。
· 加权重:使用一层()可以增加1.1倍,用一层【】可以减弱1.1倍,也就是两层1.1*1.1=1.21,第三层1.331倍,第四层是1.461倍,例如:((masterpiece)),((Minimalism)),(best quality),【low quality】。
· 渐变方式:(关键词1:数字),()是weibu的版本,写法(A:1.3)=1.3倍权重的A。
· 混合: 可以使用And联系或者使用数字来进行权重:例如1masterpiece AND 2 Minimalism AND 1 best quality。
5. 也 可以使用已有的提示词
· 根据作者提供的模型信息里的提示词。
· 网站解析:把用stable diffusion生成的AI图片放入网站:https://spell.novelai.dev/ 可以生成提示词:
**6. ** 询问chatgpt
复制相似类型的风格类型,让AI进行英语描述,再复制粘贴;也可以询问AI建筑大师的名字,描述风格提示词,也容易生成类似风格的效果图。