Adobe重新定义视频剪辑,Premiere将接入Sora生成
作者: 小麦AIGC 来源: 小麦AIGC
刚刚,Adobe宣布将在不久后更新Premiere Pro(专业的剪辑软件),接入了自研Firefly模型和三方AI模型进行视频编辑和生成,并且允许用户选择自己想要使用的模型。
这将极大地提高视频剪辑效率,也使得制作团队对视频的拍摄环境更加包容 。
看看Adobe的官方宣传视频吧,已翻译:
简单总结一下新增的主要能力:
对象编辑
首先Adobe将自研的Firefly模型接入,可以通过文本提示在视频素材中添加或更改对象。
只需要在视频画面中使用钢笔工具框选想要改变的对象,写一句提示语就可以瞬间更改为你想要的东西,与环境完美融合(如下图)。
画面演示:替换为大量钻石
或者如果你想要移除一些穿帮或者多余的元素,可以直接选择具体的元素删除,Firefly会自动识别画面内容并进行分割,操作非常简便(如下图)。
画面演示:移除墙上的工具箱
但是在演示视频中可以看到,移除工具箱后墙面上纹理跟其他区域是不一致的,这里可能还需要手工细致调整。
扩展素材
如果需要扩展画面帧数,可以将光标移动到视频片段的尾部,然后选择Firefly生成视频即可,模型会自动以视频片段作为提示词来进行视频生成,以保证画面的一致性(如下图)。
画面演示:使用Firefly扩展视频帧
三方模型
除了Adobe自研的Firefly模型,Adobe还跟三方的视频模型公司合作,将OpenAI的Sora、Runway和Pika的模型接入,方便剪辑人员选择最适合的模型产品来进行视频生成(如下图),然后一键导入时间线。
画面演示:使用Sora生成B-roll(补充镜头)
内容凭证
最后需要提一下,所有AI生成视频内容都经过了内容凭证技术标注,以跟实拍视频进行区分(如下图)。
画面演示:内容凭证功能
写在最后
看完官方发布的宣传视频,感觉Adobe还是一如既往的强大。
除了自研多模态模型通过AI技术来尝试革新效率工具,在生态层面也有考量。
视频模型的生成效果还不稳定,不同模型随训练数据和训练方法的不同,适用场景存在差异,Runway、Pika各有拥戴,Sora还在早期研究,索性开放接口,让各种模型都接入进来。
将选择权交给用户 ,共同促进AI技术在视频领域的应用。
国内大厂应该多学学。
推荐阅读
欢迎点赞、转发、分享,您的支持是我创作的最大动力。
如果喜欢上面的内容,请关注小麦AIGC;关注并回复“加群”,跟小麦AIGC的读者朋友们一起交流。
点个在看,你最好看
更多AI工具,参考Github-AiBard123,国内AiBard123