StabilityAI发布新一代文生图模型StableCascade，附带comfyui工作流作者：细节控来源：细节控分享优质 AI 资讯和AI动态。提供 AI绘画课程：Stable Diffusion、Midjourney入门教程。AI真人摄影、艺术字、二维码、AI模特机甲、二次元、AI动画等应用案例。 Stability AI发布了新的一代文生图模型Stab

StabilityAI发布新一代文生图模型StableCascade，附带comfyui工作流

By AiBard123
February 27, 2024 - 2 min read

作者：细节控来源：细节控

分享优质 AI 资讯和AI动态。提供 AI绘画课程：Stable Diffusion、Midjourney入门教程。AI真人摄影、艺术字、二维码、AI模特机甲、二次元、AI动画等应用案例。
1. Stability AI发布了新的一代文生图模型Stable Cascade ，Stable Cascade是基于Wuerstchen架构包含三阶段的文生图扩散模型，相比Stable Diffusion XL，它不仅更快而且效果更好。
Stable Cascade官方体验版已上线，并且发布了comfyui版本和工作流，能快速直出2K甚至更高分辨率，语义理解能力增强，能生成可阅读文字.目前Stable Cascade的模型和代码（包括推理和训练）已经开源.

官方网站：https://comfyanonymous.github.io/ComfyUI_examples/stable_cascade/

模型地址：https://huggingface.co/stabilityai/stable-cascade/tree/main/comfyui_checkpoints

工作流说明：https://comfyanonymous.github.io/ComfyUI_examples/unclip/

GIT：https://huggingface.co/stabilityai/stable-cascade/tree/main

体验地址：https://huggingface.co/spaces/multimodalart/stable-cascade

1.Stable Cascade的模型架构

该模型采用扩散变换架构，显著提高了在多主题提示、图像质量和拼写能力方面的性能。

Stable Diffusion 3的性能提升不仅基于其先进的扩散变换架构，还包括了以下关键的技术创新和改进：

1、新型扩散变换器：Stable Diffusion 3采用了一种新型的扩散变换技术，与Sora类似，这种新技术为模型提供了更强大的图像生成能力。Transformer 是一种深度学习模型，专门设计来逐步构建图像的细节，从而生成高质量的视觉内容。
2、流匹配与其他改进：模型还整合了流匹配技术和其他技术改进，进一步增强了生成图像的质量和多样性。流匹配技术有助于模型更好地理解和模拟图像中的动态元素和结构，使得生成的图像在视觉上更加连贯和自然。
3.利用Transformer的改进：Stable Diffusion 3充分利用了Transformer技术的最新进展，这不仅使模型能够进一步扩展其能力，还使其能够接受多模态输入。这意味着模型能够处理更复杂和多样化的数据类型，如结合文本和图像的输入，从而在理解和生成图像内容方面提供更大的灵活性和精确度。
尽管目前已经提及了一些关键的技术创新，Stability AI计划很快发布更多的技术细节。这些细节将为技术社区和感兴趣的用户提供对Stable Diffusion 3技术基础和创新点的深入了解。
性能的具体提升内容包括：
1、多主题提示处理能力：新模型对于包含多个主题或元素的提示具有更好的理解和处理能力。这意味着用户可以在一个提示中描述更复杂的场景，而模型能够更准确地根据这些描述生成图像。
2、图像质量：Stable Diffusion 3在生成的图像质量上有显著提高，包括更细腻的细节表现、更准确的颜色匹配以及更自然的光影处理。这些改进使得生成的图像更加逼真，更能捕捉到用户的创意意图。
3、拼写和文本处理能力：这个版本在处理文本元素，尤其是在图像中直接展现的文本（如标语、标签等）时，有更好的拼写能力和文本理解。这包括更准确地识别和渲染用户提示中的文字，甚至是在复杂的视觉背景中。

2.官网体验测试

https://huggingface.co/spaces/multimodalart/stable-cascade

1.prompt A：

yuan_mini_world,Miniature food photography yellow cups, coffee beans, tiny people figurines, backpacks, bright lighting tilt shift,excellent lighting,super detail,depth of field,Fujifilm

6.prompt B

In Casey Baugh’s evocative style, art of a beautiful young girl cyborg with long brown hair, futuristic, scifi, intricate, elegant, highly detailed, majestic, Baugh’s brushwork infuses the painting with a unique combination of realism and abstraction, greg rutkowski, surreal gold filigree, broken glass, (masterpiece, sidelighting, finely detailed beautiful eyes: 1.2), hdr, realistic painting, natural skin, textured skin, closed mouth, crystal eyes, butterfly filigree, chest armor, eye makeup, robot joints, long hair moved by the wind, window facing to another world, Baugh’s distinctive style captures the essence of the girl’s enigmatic nature, inviting viewers to explore the depths of her soul, award win
ning art

12.prompt C

a male chaos warrior of khorne in armor is holding a great sword in a ruined post-apocalyptic city,sci-fi,fantasy,horror,skulls on the ground,blood,Storm,(James Ensor,Unica Zurn,Zdzislaw Beksinki:1.25),Skeletons,Weeping statues,Paranormal,Apparition,(Metallics:1.1),(Shape:1.1),(Monotyping:1.1),(Strobe light:1.2),Stone,Rhombus,ultra detailed,intricate,oil on canvas,dry brush,(surrealism:1.1),(disturbing:1.1),huge filesize,wallpaper,reality,realistic,photo_(medium),highly detailed,rich in details,detailed background,Detailed explanation,high details,natural colors,realistic texture,extremely detailed,photorealistic,intricate details,high
clarity,intricate,masterpiece,best quality,

18.prompt D

huge filesize,wallpaper,reality,realistic,photo_(medium),highly detailed,rich in details,detailed background,Detailed explanation,high details,natural colors,realistic texture,extremely detailed,photorealistic,intricate details,high clarity,intricate,masterpiece,best quality,1girl,druid,

23.prompt E

gufeng,Delicate,bright picture,photo realistic,young Chinese woman,lots of pearls,very detailed,magical,fantasy style, autolinklora:gufeng:1autolink,
3.安装模型
下载模型：

地址：https://huggingface.co/stabilityai/stable-cascade/tree/main

需要将cascade的模型下载到指定的文件夹中，具体如下

必下模型

stage_a.safetensors：

https://huggingface.co/stabilityai/stable-cascade/blob/main/stage_a.safetensors

存储位置：models\vae\Stable-Cascade\

model.safetensors：

https://huggingface.co/stabilityai/stable-cascade/blob/main/text_encoder/model.safetensors

存储位置：models\clip\Stable-Cascade\

可选模型：

下载stage_b和stage_c两个模型，显存小的选2个bf16。

stage_b.safetensors：

https://huggingface.co/stabilityai/stable-cascade/blob/main/stage_b.safetensors

stage_c.safetensors：

https://huggingface.co/stabilityai/stable-cascade/blob/main/stage_c.safetensors

stage_b_bf16.safetensors：

https://huggingface.co/stabilityai/stable-cascade/blob/main/stage_b_bf16.safetensors

stage_c_bf16.safetensors：

https://huggingface.co/stabilityai/stable-cascade/blob/main/stage_c_bf16.safetensors

存储位置：models\unet\Stable-Cascade\

4.ComfyUI工作流

ComfyUI官方已经支持了Stable Cascade的使用，需要先将ComfyUI更新到最新版，使用官方提高的工作流来生成。

使用说明：

https://gist.github.com/comfyanonymous/0f09119a342d0dd825bb2d99d19b781c

工作流不使用任何放大模型（无损放大，Tiled放大，xformers都不需要了）可以直出4K图及更大的图了。

a young woman with office look hold a rose flowers and a card with text:“LOVE” in street. advertisement photography,high contrast color theme, Minimalism theme.realistic photography.cinema film.