文本+草图生成3D等高精准图片,StableDoodle重磅发布!
作者: AIGC开放社区 来源: AIGC开放社区
专注AIGC领域的专业社区,关注OpenAI、百度文心一言等大语言模型(LLM)的发展和应用落地,关注LLM的基准评测和市场研究,欢迎关注!
7月14日,生成式AI平台Stability AI在官网宣布推出Stable Doodle。(免费在线体验地址:https://clipdrop.co/stable-doodle)
据悉,Stable Doodle是一款通过文本提示+草图直接生成高精准的产品,例如,画一个苹果的轮廓,然后在文本框输入“这是一个苹果”选择一个3D样式点击生成即可,就可以得到相匹配的3D图片。如果不满意,点击继续生成直到满意为止。
值得一提的是,Stable Doodle采用了腾讯出品的文本到图片扩散模型控制器T2I-Adapter,使其能够精准理解轮廓、边缘等形态。(T2I-Adapter开源地址:https://github.com/TencentARC/T2I-Adapter)
AIGC开放社区体验作品
目前,多数图片扩散模型只能通过文本生成,得到的图片效果与预期相差较远,即便进行多次调整在角度、形态方面依然不理想。
Stable Doodle则提供了全新的草图辅助功能,以及多种图片样式选择,极大提升了图片的准确率。这对于专业设计师、室内设计师以及绘画爱好者,都能获得极佳的图片生成体验。
对于很多企业来说可以通过Stable Doodle制作企业标志、PPT插图、网站配图等。教育者则可以通过该平台教授绘画技巧,帮助他们提升技能。
Stable Doodle产品展示
技术方面,Stable Doodle由Stable Diffusion XL模型与T2I-Adapter相结合而成。其中,T2I-Adapter是腾讯ARC实验室出品的一款文本到图片扩散模型控制器。
T2I-Adapter非常小巧参数只有70M存储空间300M,但能够在冻结时给预训练的文本到图像模型提供额外指导。
能检测出草图的边缘图,检测出人形图形的关键姿势适配,还有基于分割的边缘对象检测器和深度检测器,这使得生成的图片在形态方面非常精准。
所以,T2I-Adapter 为预训练的文本到图像模型Stable Diffusion XL提供了精准的补充指导,使其能够理解草图的轮廓,并根据提示与模型定义的轮廓相结合生成图像。
Stable Doodle的使用方法非常简单,目前用户无需注册可免费体验,不过每天生成的图片数量有限制,以下是使用流程。
1、登录到https://clipdrop.co/stable-doodle
2、绘制一个草图,选择一个样式,然后输入一段草图描述,使得生成图片更加精准。
3、得到图片后,可以点击单个图片进行下载。如果对生成的图片不满意,继续点击生成即可。
以下是通过Stable Doodle生成的案例欣赏。
本文素材来源Stability AI官网,如有侵权请联系删除*
END