AI新工具
banner

ComfyUI-KwaiKolorsWrapper


介绍:

ComfyUI-KwaiKolorsWrapper 是用于运行 Kwai-Kolors 文本生成图像管道的基础封装工具。









ComfyUI-KwaiKolorsWrapper

ComfyUI-KwaiKolorsWrapper 是一个基础的包装器,用于使用 diffusers 运行 Kwai-Kolors 的 text2image(文本到图像)流水线。

功能更新 - safetensors

添加了从单个 safetensors 文件加载 ChatGLM3 模型的替代方法(这些配置已包含在此存储库中),并且包括已经量化的模型,这些模型可以放置在 ComfyUI\models\LLM\checkpoints 文件夹中。

安装步骤:
  1. 将此存储库克隆到 ComfyUI/custom_nodes 文件夹中。

  2. 安装 requirements.txt 中的依赖项,至少需要 transformers 版本 4.38.0:

    pip install -r requirements.txt
    

    如果使用便携版本,则需在 ComfyUI_windows_portable 文件夹中运行:

    python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-KwaiKolorsWrapper\requirements.txt
    
  3. 模型(fp16,16.5GB)会自动从 Hugging Face 下载到 ComfyUI/models/diffusers/Kolors

  4. 模型文件夹结构需要如下:

    PS C:\ComfyUI_windows_portable\ComfyUI\models\diffusers\Kolors> tree /F
    │   model_index.json
    │
    ├───scheduler
    │       scheduler_config.json
    │
    ├───text_encoder
    │       config.json
    │       pytorch_model-00001-of-00007.bin
    │       pytorch_model-00002-of-00007.bin
    │       pytorch_model-00003-of-00007.bin
    │       pytorch_model-00004-of-00007.bin
    │       pytorch_model-00005-of-00007.bin
    │       pytorch_model-00006-of-00007.bin
    │       pytorch_model-00007-of-00007.bin
    │       pytorch_model.bin.index.json
    │       tokenizer.model
    │       tokenizer_config.json
    │       vocab.txt
    │
    └───unet
            config.json
            diffusion_pytorch_model.fp16.safetensors
    

在运行时,文本编码器将占用大部分显存(VRAM),但可以进行量化以适应不同的显存大小需求:

模型 大小
fp16 ~13 GB
quant8 ~8 GB
quant4 ~4 GB

采样单个1024分辨率的图像所需的显存应与 SDXL(Stable Diffusion XL)类似。VAE(变分自编码器)使用的是基本的 SDXL VAE。

使用场景:
  1. 文本到图像生成:可用于根据文本描述生成高质量的图像。
  2. 深度学习模型部署:通过量化技术,适合在不同硬件配置中进行深度学习模型的部署和运行。
  3. 图像生成研究:为研究人员提供了一个简单易用的工具,以应用和改进文本到图像生成算法。

总之,ComfyUI-KwaiKolorsWrapper 是一个强大的工具,可以简化使用 Kwai-Kolors 模型进行文本到图像生成的过程,并且通过适应不同的硬件需求,扩展了其应用范围。

可关注我们的公众号:每天AI新工具

广告:私人定制视频文本提取,字幕翻译制作等,欢迎联系QQ:1752338621