AI 文摘

VideoCrafter2:腾讯开源新的AI视频生成模型,可下载模型后离线体验





作者: 人工智能技术与时代人物风云 来源: 人工智能技术与时代人物风云

去年10月份腾讯发布了VideoCfafter1模型,仅3个月后,腾讯AI实验室的研究人员克服了高质量视频扩散模型的数据限制,仅使用有限数据对VideoCrafter1进行了大幅改进,实现了更好的运动轨迹和更好的概念组合。

让我们一起看看官方测试效果:

该模型是不使用高质量视频的情况下训练高质量模型,研究人员分析了视频模型的空间和时间模块之间的联系,并研究了这些模块向低质量视频的分布转换。

他们观察到,全面训练所有模块会比只训练时间模块产生更强的空间(画面)和时间(动作)之间的耦合。

基于这种更强的耦合,他们通过使用高质量图片微调空间模块,在不降低动态效果的前提下,实现了分布向更高质量转换,从而得到了一个通用的高质量视频模型。

模型已于昨日上架HuggingFace,可以下载模型后使用gradio(一个开源的用户界面)在你自己的硬件设备上离线运行。

模型下载

在HuggingFace下载模型文件

https://huggingface.co/VideoCrafter/VideoCrafter2/tree/main

本地运行

  1. 克隆github项目:

https://github.com/AILab-CVC/VideoCrafter

  1. 然后使用下方指令启动gradio即可
python gradio_app.py

如下视频所示:

更多内容请浏览项目主页:

https://ailab-cvc.github.io/videocrafter2/

以上,欢迎转发分享。

END

如果喜欢上面的内容,请关注小麦AIGC,最新内容每日更新;如有好的选题建议,也可以给我们发消息哦。

点个在看,你最好看

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具