AI 文摘

Adobe重新定义视频剪辑,Premiere将接入Sora生成





作者: 小麦AIGC 来源: 小麦AIGC

刚刚,Adobe宣布将在不久后更新Premiere Pro(专业的剪辑软件),接入了自研Firefly模型和三方AI模型进行视频编辑和生成,并且允许用户选择自己想要使用的模型。

这将极大地提高视频剪辑效率,也使得制作团队对视频的拍摄环境更加包容

看看Adobe的官方宣传视频吧,已翻译:

简单总结一下新增的主要能力:

对象编辑

首先Adobe将自研的Firefly模型接入,可以通过文本提示在视频素材中添加或更改对象。

只需要在视频画面中使用钢笔工具框选想要改变的对象,写一句提示语就可以瞬间更改为你想要的东西,与环境完美融合(如下图)。

画面演示:替换为大量钻石

或者如果你想要移除一些穿帮或者多余的元素,可以直接选择具体的元素删除,Firefly会自动识别画面内容并进行分割,操作非常简便(如下图)。

画面演示:移除墙上的工具箱

但是在演示视频中可以看到,移除工具箱后墙面上纹理跟其他区域是不一致的,这里可能还需要手工细致调整。

扩展素材

如果需要扩展画面帧数,可以将光标移动到视频片段的尾部,然后选择Firefly生成视频即可,模型会自动以视频片段作为提示词来进行视频生成,以保证画面的一致性(如下图)。

画面演示:使用Firefly扩展视频帧

三方模型

除了Adobe自研的Firefly模型,Adobe还跟三方的视频模型公司合作,将OpenAI的SoraRunwayPika的模型接入,方便剪辑人员选择最适合的模型产品来进行视频生成(如下图),然后一键导入时间线。

画面演示:使用Sora生成B-roll(补充镜头)

内容凭证

最后需要提一下,所有AI生成视频内容都经过了内容凭证技术标注,以跟实拍视频进行区分(如下图)。

画面演示:内容凭证功能

写在最后

看完官方发布的宣传视频,感觉Adobe还是一如既往的强大。

除了自研多模态模型通过AI技术来尝试革新效率工具,在生态层面也有考量。

视频模型的生成效果还不稳定,不同模型随训练数据和训练方法的不同,适用场景存在差异,Runway、Pika各有拥戴,Sora还在早期研究,索性开放接口,让各种模型都接入进来。

将选择权交给用户 ,共同促进AI技术在视频领域的应用。

国内大厂应该多学学。

推荐阅读

设计生产力:关于Adobe Firefly需要了解的一切

欢迎点赞、转发、分享,您的支持是我创作的最大动力。

如果喜欢上面的内容,请关注小麦AIGC;关注并回复“加群”,跟小麦AIGC的读者朋友们一起交流。

点个在看,你最好看

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具