傻瓜生图器炸场,火柴人秒变福尔摩斯!StabilityAI最新绘图神器让涂鸦秒变大片
作者: 新智元 来源: 新智元
** ** **新智元报道 **
编辑:编辑部
【新智元导读】 零门槛就能晋升插画师,简单勾勒个草图就能得到电影级大片。Stability AI的全新作图神器,简直要让画师和设计师原地失业了!****
杀疯了杀疯了,让画家和设计师原地失业的AI作画工具,又上新了!
Stability AI新推出的Stable Doodle简直要封神了!
它能把你的涂鸦一秒变大作,完全颠覆了AI作画传统流程中的纯文本prompt方式。
很多朋友都是「语死早」,用精准的语言去描述出自己想要的图像,简直是要了命了。
而现在,只要潦草地画上几笔,图像瞬间就变成色彩丰富、完全渲染的大片级图像。
只要给一个大致轮廓,其余细节AI都能帮你补全!
这幅梗图再也不是梗,用Stable Doodle完全可以成真了
所以,绘画小白也能秒变艺术大师了?
几笔草稿变出大片
官网上给出的演示,简直酷毙了。
随意画出几个建筑物,右上方画一个圆。
输入prompt「Cityspace with full moon(满月下的街景)」,接下来,就是见证奇迹的时刻——
风格分别选择无风格(no style)、摄影(photographic)、模拟电影(analog film)、fantasy art(幻想艺术)、comic style(漫画风格)、origami(折纸)、pixel art(像素艺术)、neon punk(霓虹朋克)、isometric(等距)
画一个机器人草图,辅以prompt提示:「photo, photorealistic CG rendering of a robot head, predator, downtown city bokeh at night, dramatic lighting(照片,机器人头部逼真的CG渲染,铁血战士,虚化的城市夜景,戏剧光效)」,就得到3张城市夜景下的机器人战士。
寥寥数笔,就得到赛博朋克风的机甲女人肖像。(prompt:Mecha woman portrait)
简单画出一个城堡的轮廓,加上prompt「Castle on a hill, winter, ‘Anime’ Style(山上的城堡,冬天,动漫风格)」,立马生成了可以用在书籍封面上的插画。
画一只穿衣服的猫,prompt是「Cat with a jeans jacket, ‘Digital Art’ Style(穿着牛仔夹克的猫,数字艺术风格)」,就得到了三位充满艺术风格的猫先生。
而对于擅长绘画的朋友,它可以帮你生成更详细的草图。比如,给它一幅「客厅草图」,prompt是「living room, comic-book style(客厅,漫画风格)」,它就自动画出了构图和上色完美的漫画。
网友整活
不用说,网友们已经激动得玩疯了。
简单的一个美杜莎草图,Stable Doodle给你画出金属质感的玫瑰荆棘女王。
随意画一个人体轮廓,不用画五官,不用画身材,不必懂人体解剖学,一句简单的prompt,就画出一个手扶头发的美女。
prompt:photo, beautiful woman with her hands in her hair
想要一个日光下身材绝绝子的比基尼美女?大致勾勒出轮廓就行,只要prompt到位,Stable Doodle绝对给你惊喜。
prompt:photo, beautiful woman, bikini, facing the camera, standing between two big open windows, her arms up, sunlight
想要一个戴着白帽、涂着红唇的时尚女郎,就让Stable Doodle充分发挥它的想象力吧。
prompt:beautiful face, fashion, white colors, red lips
小学美术课上学简笔画,画一个小房子是最基本的,有了Stable Doodle,直接就是从小学版进阶到了绘画大师版。
这位网友一看就是有绘画功底的,想要几个肌肉版皮卡丘。
只要给Stable Doodle浅打个样,各种皮卡丘肌肉猛男它是信手拈来。
给它再抽象的草图,只要配上prompt,它都能给你满意的答案。
画出一幅很写意的草图,告诉它要一幅「走在雨中大街上的绅士」,它就会自动给你补上适宜的街景,一秒魂穿19世纪有着大本钟的英伦街头。
只喂一个寥寥数笔的草图,Stable Doodle就画出一个丛林中的神秘庙宇,天上是满月,门前是流水。
prompt:secret temple in the jungle, river in front of the temple, full moon in the night sky
那么,如果没有涂鸦,直接用prompt,效果会是如何呢?
可以看出,有了涂鸦草图的指引,AI作画工具会非常容易地get到我们想要的意思。如果只输入prompt,有可能需要绕很多弯路,多生成很多图片,才能恰巧「撞上」自己想要的结果。
此外,在手机App上,用起来也很方便。
要知道,目前发布的还只是第一个版本!再过几个月,Stable Doodle恐怕会强大到恐怖。
不过,Stable Doodle也「完美」地继承了Stable Diffusion在人物生成上的各种问题。
比如用下面这张涂鸦配合「man standing woman sitting on a chair holding a baby」,生成的图像可以说是一个比一个掉san。
手把手教程已出炉
有了这么个厉害的工具,不会用可不行。
这不,Stable Doodle还没出来热乎几天,就连教程都有了。
进入 Stable Doodle 后,用户能看到一个普通的画布。
然后,生图三步走:
-
选择笔并使用鼠标绘制一个简单的草图。只需随意涂鸦,无需特别强调细节或美观。
-
输入文字描述
-
选择一种艺术风格(当然不需要风格的话,也可以选择no style),然后单击生成。
比如这样:
看,就是幼儿园小孩的那种简笔画,根本不需要有任何艺术细胞和基础。
当然,Stable Doodle会给用户提供3个选项,你可以选择最符合你预期的那一张保存并使用。
底部的风格一共有14种,基本囊括了主流的所有艺术风格。
分别是:摄影风、想象艺术风、折纸风、等距风、数字风、漫画风、动漫风、电影风、模拟电影风、霓虹朋克风、像素风、低聚风、3D模型风、线条风(图片从左至右)
看看上面那艘船在不同风格条件下,生成的图片有什么不同。
等距风
从左至右:霓虹朋克风、像素风、漫画风
除了宽泛地生成图片以外,你有特别的需求Stable Doodle也能帮你实现。
比如,生成一个logo。
感觉这几张图片,拿来随便一个用,我都能开个爆火的拉面馆出来。
除此之外,就连室内装潢,Stable Doodle都能帮你搞定。你只要在草图那里大致画出屋内物件的排布结构,大概有什么东西,Stable Doodle就能帮你搞定剩下的。
作者只在草图那里画了个吧台,几张桌子,Stable Doodle就搞出了一个可以每夜都流连于此的恬淡风清吧。
甚至还能给企业定制图标——
生成的图标可以用来推广品牌、营销、进行演示,或者给用户界面创建插图。
这里选择的是等距风,isometric。
生成像素风的游戏场景——
注意,风格别忘了选pixel art,像素风,文字prompt别忘了写清楚这是游戏场景。
甚至还能选择漫画风格,来生成各种漫画。
上面的那个蜘蛛侠就是一个例子,我们还能生成雷神——
(看看草图的小锤子,我都没看出来)
最后还能描绘一些我们幻想中的场景——
这里想象艺术风(Fantasy Art)就派上用场了!
背后技术:SDXL+T2I-Adapter
根据官方介绍,Stable Doodle最强的能力就是sketch-to-image,以及更完美、准确的控制。
也就是从草图一步直达精美的作品,甚至还能生成动图。
目前,Stable Doodle可以在Clipdrop上免费试用,当然还有最新的SDXL0.9。
prompt: Cute owl, ‘Origami’ Style(可爱的猫头鹰,折纸风格)
无论你是新手,还是业内大佬,无论你之前用没用过AI生图软件,只要花个几分钟上手Stable Doodle,谁都能秒秒钟生成出高质量的图片作品。
不管是给客户设计logo,做展示需要的素材,还是各种插图,Stable Doodle都能一键搞定,效率max。
之所以它这么厉害,是因为用上了Stability AI最先进的SDXL生图技术,以及T2I-Adapter。
后者是由Tencent ARC开发的条件控制解决方案,有了它,用户就可以对AI生图进行更为精确的控制。
在生成过程中,T2I-Adapter会为SDXL提供辅助指导的功能,让SDXL可以理解输入的草图轮廓,以及根据prompt生成图像。
项目地址:https://github.com/TencentARC/T2I-Adapter
具体来说,T2I-Adapter是一个由大约770万个参数组成的简单而小巧的网络,它可以在冻结原始大型文本到图像模型的同时,为预训练的文本到图像模型提供额外的引导,并以此增强对生成过程的控制。
其中,T2I-Adapter将T2I模型中的内部知识与外部控制信号对齐。用户可以根据不同条件训练各种适配器,并实现丰富的控制和编辑效果。
以下是T2I-Adapter在Hugging Face上的一些实现。
T2I-Adapter可以引导Stable Diffusion的结果,下图就是MMPose预测的关键姿势结果。
通过keypose引导,T2I适配器可以生成具有相同姿势的动物,例如熊猫和老虎。
Sketch T2I Adapter可以即插即用,无需额外训练,就可以产生任何结果。
Keypose T2I-Adapter也同理。
总而言之,在Stable Doodle中,同一幅草图不同prompt,不同风格,都能生成出各种各样精美的图片。
这不得赶快试起来?
参考资料:
https://clipdrop.co/stable-doodle
https://stability.ai/blog/clipdrop-launches-stable-doodle
https://www.fastcompany.com/90921426/amazing-new-ai-tool-stability
https://bootcamp.uxdesign.cc/transform-your-sketch-into-amazing-art-with-stable-doodle-f8c505b78217
更多AI工具,参考Github-AiBard123,国内AiBard123