AI 文摘

傻瓜生图器炸场,火柴人秒变福尔摩斯!StabilityAI最新绘图神器让涂鸦秒变大片





作者: 新智元 来源: 新智元

** ** **新智元报道 **

编辑:编辑部

【新智元导读】 零门槛就能晋升插画师,简单勾勒个草图就能得到电影级大片。Stability AI的全新作图神器,简直要让画师和设计师原地失业了!****

杀疯了杀疯了,让画家和设计师原地失业的AI作画工具,又上新了!

Stability AI新推出的Stable Doodle简直要封神了!

它能把你的涂鸦一秒变大作,完全颠覆了AI作画传统流程中的纯文本prompt方式。

很多朋友都是「语死早」,用精准的语言去描述出自己想要的图像,简直是要了命了。

而现在,只要潦草地画上几笔,图像瞬间就变成色彩丰富、完全渲染的大片级图像。

只要给一个大致轮廓,其余细节AI都能帮你补全!

这幅梗图再也不是梗,用Stable Doodle完全可以成真了

所以,绘画小白也能秒变艺术大师了?

几笔草稿变出大片

官网上给出的演示,简直酷毙了。

随意画出几个建筑物,右上方画一个圆。

输入prompt「Cityspace with full moon(满月下的街景)」,接下来,就是见证奇迹的时刻——

风格分别选择无风格(no style)、摄影(photographic)、模拟电影(analog film)、fantasy art(幻想艺术)、comic style(漫画风格)、origami(折纸)、pixel art(像素艺术)、neon punk(霓虹朋克)、isometric(等距)

画一个机器人草图,辅以prompt提示:「photo, photorealistic CG rendering of a robot head, predator, downtown city bokeh at night, dramatic lighting(照片,机器人头部逼真的CG渲染,铁血战士,虚化的城市夜景,戏剧光效)」,就得到3张城市夜景下的机器人战士。

寥寥数笔,就得到赛博朋克风的机甲女人肖像。(prompt:Mecha woman portrait)

简单画出一个城堡的轮廓,加上prompt「Castle on a hill, winter, ‘Anime’ Style(山上的城堡,冬天,动漫风格)」,立马生成了可以用在书籍封面上的插画。

画一只穿衣服的猫,prompt是「Cat with a jeans jacket, ‘Digital Art’ Style(穿着牛仔夹克的猫,数字艺术风格)」,就得到了三位充满艺术风格的猫先生。

而对于擅长绘画的朋友,它可以帮你生成更详细的草图。比如,给它一幅「客厅草图」,prompt是「living room, comic-book style(客厅,漫画风格)」,它就自动画出了构图和上色完美的漫画。

网友整活

不用说,网友们已经激动得玩疯了。

简单的一个美杜莎草图,Stable Doodle给你画出金属质感的玫瑰荆棘女王。

随意画一个人体轮廓,不用画五官,不用画身材,不必懂人体解剖学,一句简单的prompt,就画出一个手扶头发的美女。

prompt:photo, beautiful woman with her hands in her hair

想要一个日光下身材绝绝子的比基尼美女?大致勾勒出轮廓就行,只要prompt到位,Stable Doodle绝对给你惊喜。

prompt:photo, beautiful woman, bikini, facing the camera, standing between two big open windows, her arms up, sunlight

想要一个戴着白帽、涂着红唇的时尚女郎,就让Stable Doodle充分发挥它的想象力吧。

prompt:beautiful face, fashion, white colors, red lips

小学美术课上学简笔画,画一个小房子是最基本的,有了Stable Doodle,直接就是从小学版进阶到了绘画大师版。

这位网友一看就是有绘画功底的,想要几个肌肉版皮卡丘。

只要给Stable Doodle浅打个样,各种皮卡丘肌肉猛男它是信手拈来。

给它再抽象的草图,只要配上prompt,它都能给你满意的答案。

画出一幅很写意的草图,告诉它要一幅「走在雨中大街上的绅士」,它就会自动给你补上适宜的街景,一秒魂穿19世纪有着大本钟的英伦街头。

只喂一个寥寥数笔的草图,Stable Doodle就画出一个丛林中的神秘庙宇,天上是满月,门前是流水。

prompt:secret temple in the jungle, river in front of the temple, full moon in the night sky

那么,如果没有涂鸦,直接用prompt,效果会是如何呢?

可以看出,有了涂鸦草图的指引,AI作画工具会非常容易地get到我们想要的意思。如果只输入prompt,有可能需要绕很多弯路,多生成很多图片,才能恰巧「撞上」自己想要的结果。

此外,在手机App上,用起来也很方便。

要知道,目前发布的还只是第一个版本!再过几个月,Stable Doodle恐怕会强大到恐怖。

不过,Stable Doodle也「完美」地继承了Stable Diffusion在人物生成上的各种问题。

比如用下面这张涂鸦配合「man standing woman sitting on a chair holding a baby」,生成的图像可以说是一个比一个掉san。

手把手教程已出炉

有了这么个厉害的工具,不会用可不行。

这不,Stable Doodle还没出来热乎几天,就连教程都有了。

进入 Stable Doodle 后,用户能看到一个普通的画布。

然后,生图三步走:

  1. 选择笔并使用鼠标绘制一个简单的草图。只需随意涂鸦,无需特别强调细节或美观。

  2. 输入文字描述

  3. 选择一种艺术风格(当然不需要风格的话,也可以选择no style),然后单击生成。

比如这样:

看,就是幼儿园小孩的那种简笔画,根本不需要有任何艺术细胞和基础。

当然,Stable Doodle会给用户提供3个选项,你可以选择最符合你预期的那一张保存并使用。

底部的风格一共有14种,基本囊括了主流的所有艺术风格。

分别是:摄影风、想象艺术风、折纸风、等距风、数字风、漫画风、动漫风、电影风、模拟电影风、霓虹朋克风、像素风、低聚风、3D模型风、线条风(图片从左至右)

看看上面那艘船在不同风格条件下,生成的图片有什么不同。

等距风

从左至右:霓虹朋克风、像素风、漫画风

除了宽泛地生成图片以外,你有特别的需求Stable Doodle也能帮你实现。

比如,生成一个logo。

感觉这几张图片,拿来随便一个用,我都能开个爆火的拉面馆出来。

除此之外,就连室内装潢,Stable Doodle都能帮你搞定。你只要在草图那里大致画出屋内物件的排布结构,大概有什么东西,Stable Doodle就能帮你搞定剩下的。

作者只在草图那里画了个吧台,几张桌子,Stable Doodle就搞出了一个可以每夜都流连于此的恬淡风清吧。

甚至还能给企业定制图标——

生成的图标可以用来推广品牌、营销、进行演示,或者给用户界面创建插图。

这里选择的是等距风,isometric。

生成像素风的游戏场景——

注意,风格别忘了选pixel art,像素风,文字prompt别忘了写清楚这是游戏场景。

甚至还能选择漫画风格,来生成各种漫画。

上面的那个蜘蛛侠就是一个例子,我们还能生成雷神——

(看看草图的小锤子,我都没看出来)

最后还能描绘一些我们幻想中的场景——

这里想象艺术风(Fantasy Art)就派上用场了!

背后技术:SDXL+T2I-Adapter

根据官方介绍,Stable Doodle最强的能力就是sketch-to-image,以及更完美、准确的控制。

也就是从草图一步直达精美的作品,甚至还能生成动图。

目前,Stable Doodle可以在Clipdrop上免费试用,当然还有最新的SDXL0.9。

prompt: Cute owl, ‘Origami’ Style(可爱的猫头鹰,折纸风格)

无论你是新手,还是业内大佬,无论你之前用没用过AI生图软件,只要花个几分钟上手Stable Doodle,谁都能秒秒钟生成出高质量的图片作品。

不管是给客户设计logo,做展示需要的素材,还是各种插图,Stable Doodle都能一键搞定,效率max。

之所以它这么厉害,是因为用上了Stability AI最先进的SDXL生图技术,以及T2I-Adapter。

后者是由Tencent ARC开发的条件控制解决方案,有了它,用户就可以对AI生图进行更为精确的控制。

在生成过程中,T2I-Adapter会为SDXL提供辅助指导的功能,让SDXL可以理解输入的草图轮廓,以及根据prompt生成图像。

项目地址:https://github.com/TencentARC/T2I-Adapter

具体来说,T2I-Adapter是一个由大约770万个参数组成的简单而小巧的网络,它可以在冻结原始大型文本到图像模型的同时,为预训练的文本到图像模型提供额外的引导,并以此增强对生成过程的控制。

其中,T2I-Adapter将T2I模型中的内部知识与外部控制信号对齐。用户可以根据不同条件训练各种适配器,并实现丰富的控制和编辑效果。

以下是T2I-Adapter在Hugging Face上的一些实现。

T2I-Adapter可以引导Stable Diffusion的结果,下图就是MMPose预测的关键姿势结果。

通过keypose引导,T2I适配器可以生成具有相同姿势的动物,例如熊猫和老虎。

Sketch T2I Adapter可以即插即用,无需额外训练,就可以产生任何结果。

Keypose T2I-Adapter也同理。

总而言之,在Stable Doodle中,同一幅草图不同prompt,不同风格,都能生成出各种各样精美的图片。

这不得赶快试起来?

参考资料:

https://clipdrop.co/stable-doodle

https://stability.ai/blog/clipdrop-launches-stable-doodle

https://www.fastcompany.com/90921426/amazing-new-ai-tool-stability

https://bootcamp.uxdesign.cc/transform-your-sketch-into-amazing-art-with-stable-doodle-f8c505b78217

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具