RunwayGen2上线全新控制功能「运动笔刷」-一笔刷万物
作者: 数字生命卡兹克 来源: 数字生命卡兹克
人麻了,刚发完四万字的长文
四万字长文带你了解为什么超级大佬们都如此警惕人工智能?Ilya到底在害怕什么?
回到家中,一边在X上吃着“草台班子”OpenAI的瓜,一边准备开把极地大乱斗然后11点赶紧睡觉。
OpenAI的瓜刷着刷着,我就刷到一条Runway的动态:
…
那还能怎么办?爬起来肝呗。
先放官方视频。
一笔刷万物。
精准控制运动物体。
从8月份开始,我就在各种场合表达过,AI视频现在最痛苦的点,是控制性极差。Gen2的语义理解本来就差,还几乎没有任何可控性,只有那几个镜头控制,剩下全靠roll。
但是你roll的,全是白花花的银子啊…
所以AI视频,急需类似AI绘画中的ControlNET类似的功能,增强可控性。
而这次更新的运动笔刷,就是基于此之下的产物,只不过就我看来,目前在“可控”一词上,还是个半成品,真正可用级别的控制,我认为应该是基于运动笔刷的轨迹控制。
微软之前有一篇关于轨迹控制的论文,我觉得非常认可这个路线:
他的项目演示大概是这样的:
直接手画一个箭头,直接控制物体运动轨迹。
而现在Gen2的运动笔刷,还不能够控制运动轨迹,只能框选部分物体,做上下左右以及摄像机的拉近推远运动,复杂的还是不太行。
所以我说,还是目前我心中的可控性的半成品。
但是有比没有好,现在已经是AI视频可控进化的一大步了。
打开Runway,可以看到页面上已经多了一个Montion Brush,这就是运动笔刷。
我随手扔了一个火箭上去,把我的火箭用笔刷刷了一波,再随便叠了个摄像机运动。然后把上下运动拉到了8,毕竟希望火箭升天嘛。
三个参数,分别是左右移动,上下移动,向前向后移动。
看看效果。
。。。我的火箭终升天了,虽然两边的云还有点点假。。。但是,至少真的能升天了!!!鬼知道我之前做《三体》的时候这个镜头我roll了多少遍,花了我多少的额度!!!
海中航行的纸船。
进舱的水滴。
还有这种变焦(笑。
好些个以前做不了的效果,现在都可以实现了。
以上,随手测试的几个例子,还有更多的花活,时间有限,没玩那么多,仅抛砖引玉。
但是肉眼可见的,很多有趣的运镜都可以实现了,还有一些细微的动效,也可以小范围笔刷+Prompt去怼,虽然成功率依然不是百分百,但是至少比以前完全束手无措好。
随着AI视频的可控性越来越强,真正专业的影视从业人员,应该会越来越得心应手。
毕竟,AI这玩意,永远都是真正专业者的杠杆,越可控,上限越高。
人间一天,AI一年。
上次Gen2更新才多久啊。
真的太快了。。
努力跟上这个时代吧。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章
更多AI工具,参考Github-AiBard123,国内AiBard123