最近被layerdiffusion分层生成透明图像技术刷屏了!
作者: Python兴趣圈 来源: Python兴趣圈
点击上方“蓝色字体”关注我,选择“设为星标”!
回复“电子书”领取超多经典计算机书籍
最近一周,在各大社交平台都能刷到众多互联网科技博主发文分享这样一款透明图像生成工具LayerDiffusion。
LayerDiffusion 是 ControlNet 作者提出的一种新技术,它允许大规模预训练的潜在扩散模型(Latent Diffusion Model)生成透明图像。
LayerDiffusion:https://github.com/layerdiffusion/LayerDiffusion
当然,这不仅仅是我们表面上看到了抠图 这么简单,它的核心在于生成 。
基于LayerDiffusion也衍生出了两款比较火的插件:Comfyui LayerDiffusion 和 sd-forge-layerdiffusion 。
这两款插件前两天还只是发布出来还不能真正开始使用,今天看最新消息称已经可以正式使用了。
Comfyui LayerDiffusion
ComfyUI-layerdiffusion 是 Layer Diffusion 的一个自定义实现,专门用于生成和处理前景、背景图像及其混合效果,目前只支持SDXL模型。
ComfyUI-layerdiffusion:https://github.com/huchenlei/ComfyUI-layerdiffusion
具体使用安装需要通过项目的下载或克隆,然后拷贝到ComfyUI的custom_nodes 文件夹,并运行 pip install -r requirements.txt 安装Python相关依赖。
主要功能:
-
•生成前景: 提供了生成带有透明度(RGB+alpha)的前景图像的流程。
-
•混合前景/背景: 支持将给定的前景(FG)和背景(BG)图像混合。
-
•提取前景/背景: 能够从混合图像中提取前景或背景,尽管该流程可能不如其他对象移除流程高效。
sd-forge-layerdiffusion
sd-forge-layerdiffusion 是LayerDiffusion作者自己开发的一个基于forge ui的项目,目前功能正在更新迭代中,该项目旨在为Stable Diffusion WebUI(通过Forge) 提供生成透明图像和图层的能力,目前已实现基本的文生图功能,但透明的img2img(图生图)还未完成。
sd-forge-layerdiffusion:https://github.com/layerdiffusion/sd-forge-layerdiffusion
和普通版本的WebUI一样,在扩展处安装layer
其登录界面后所有模型都是自动下载的,适用于SDXL模型。能处理透明玻璃、半透明发光效果等,比简单的背景移除方法更为高级。
用于将SDXL转换为透明图像生成器,以及处理前景、背景和混合组合的图层生成模型等。
注意事项: 目前仅支持 SDXL 模型。
相关模型说明:模型说明:
layer_xl_transparent_attn.safetensors 一个LoRA,可将SDXL变成一个透明图像生成器。
layer_xl_transparent_conv.safetensors 将SDXL变成透明图像生成器的替代模型。
layer_xl_fg2ble.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于前景,并生成融合的组合。
layer_xl_fgble2bg.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于前景和融合的组合,并生成背景。
layer_xl_bg2ble.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于背景,并生成融合的组合。
layer_xl_bgble2fg.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于背景和融合的组合,并生成前景。
vae_transparent_encoder.safetensors 这是一个图像编码器,用于从像素空间提取潜在偏移量。该偏移量可以添加到潜在图像中,以帮助透明度的扩散。
vae_transparent_decoder.safetensors 这是一个图像解码器,输入为SD VAE输出和潜在图像,输出为真实的PNG图像。
另外!Python交流群已建立
公众号运营至今,已经快一年了,期间有很多粉丝找我加群,但是一直没开。
为了给小伙伴们提供一个互相交流的分享技术与干货的平台,特地开通了小圈友Python学习交流群。
由于技术交流群刚开通,所以暂时群友稀薄,也希望大家多多支持,慢慢扩大这个交流群。
群里会不时分享一些技术干货与行业资讯,相信今后会有一些资源收藏爱好者加入,届时也会不时分享一些优质的学习资料。
此群免费!不卖课!不打广告!仅用于交流学习!
需要进群的朋友,公众号菜单栏获取小编的联系方式,备注’加群‘,邀您进群
写到最后
感谢您的一路陪伴,用代码构建世界,一起探索充满未知且奇妙的魔幻旅程。如果您对Python编程技巧、好玩实用的开源项目、行业新知趣事和各类技术干货等充满兴趣,那么不要错过未来我为大家奉上的精彩内容!点击关注**,让您的探索学习之旅更加丰富多彩,我们一同成长,一同前行!🚀💻📚
求一键三连*:*点赞、转发、在看
↓推荐关注↓
公众号内回复关键字“电子书”领取PDF格式的电子书籍(Python入门、异步编程、网络爬虫、高性能编程、数据分析与挖掘实战、Spring、Linux、CSS、VUE、自动化测试、程序员面试宝典等)。
● 四款国内外远程桌面软件横测:ToDesk、向日葵、TeamViewer、AnyDesk
● 新一代开源语音库CoQui TTS冲到了GitHub 20.5k Star
● 狂揽16.9k star!Umi-OCR文字识别太火了,解决了多少人的痛点!
● Python3 新一代Http请求库Httpx使用(详情版)
如果本文对您有帮助,也请帮忙点个 赞👍 + 在看 哈!❤️
在看你就赞赞我!
更多AI工具,参考Github-AiBard123,国内AiBard123