AI 文摘

RunwayGen2上线全新控制功能「运动笔刷」-一笔刷万物


  • By AiBard123
  • November 23, 2023 - 2 min read



作者: 数字生命卡兹克 来源: 数字生命卡兹克

人麻了,刚发完四万字的长文

四万字长文带你了解为什么超级大佬们都如此警惕人工智能?Ilya到底在害怕什么?

回到家中,一边在X上吃着“草台班子”OpenAI的瓜,一边准备开把极地大乱斗然后11点赶紧睡觉。

OpenAI的瓜刷着刷着,我就刷到一条Runway的动态:

那还能怎么办?爬起来肝呗。

先放官方视频。

一笔刷万物。

精准控制运动物体。

从8月份开始,我就在各种场合表达过,AI视频现在最痛苦的点,是控制性极差。Gen2的语义理解本来就差,还几乎没有任何可控性,只有那几个镜头控制,剩下全靠roll。

但是你roll的,全是白花花的银子啊…

所以AI视频,急需类似AI绘画中的ControlNET类似的功能,增强可控性。

而这次更新的运动笔刷,就是基于此之下的产物,只不过就我看来,目前在“可控”一词上,还是个半成品,真正可用级别的控制,我认为应该是基于运动笔刷的轨迹控制。

微软之前有一篇关于轨迹控制的论文,我觉得非常认可这个路线:

他的项目演示大概是这样的:

直接手画一个箭头,直接控制物体运动轨迹。

而现在Gen2的运动笔刷,还不能够控制运动轨迹,只能框选部分物体,做上下左右以及摄像机的拉近推远运动,复杂的还是不太行。

所以我说,还是目前我心中的可控性的半成品。

但是有比没有好,现在已经是AI视频可控进化的一大步了。

打开Runway,可以看到页面上已经多了一个Montion Brush,这就是运动笔刷。

我随手扔了一个火箭上去,把我的火箭用笔刷刷了一波,再随便叠了个摄像机运动。然后把上下运动拉到了8,毕竟希望火箭升天嘛。

三个参数,分别是左右移动,上下移动,向前向后移动。

看看效果。

。。。我的火箭终升天了,虽然两边的云还有点点假。。。但是,至少真的能升天了!!!鬼知道我之前做《三体》的时候这个镜头我roll了多少遍,花了我多少的额度!!!

海中航行的纸船。

进舱的水滴。

还有这种变焦(笑。

好些个以前做不了的效果,现在都可以实现了。

以上,随手测试的几个例子,还有更多的花活,时间有限,没玩那么多,仅抛砖引玉。

但是肉眼可见的,很多有趣的运镜都可以实现了,还有一些细微的动效,也可以小范围笔刷+Prompt去怼,虽然成功率依然不是百分百,但是至少比以前完全束手无措好。

随着AI视频的可控性越来越强,真正专业的影视从业人员,应该会越来越得心应手。

毕竟,AI这玩意,永远都是真正专业者的杠杆,越可控,上限越高。

人间一天,AI一年。

上次Gen2更新才多久啊。

真的太快了。。

努力跟上这个时代吧。

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具