VideoCrafter2:腾讯开源新的AI视频生成模型,可下载模型后离线体验
作者: 人工智能技术与时代人物风云 来源: 人工智能技术与时代人物风云
去年10月份腾讯发布了VideoCfafter1模型,仅3个月后,腾讯AI实验室的研究人员克服了高质量视频扩散模型的数据限制,仅使用有限数据对VideoCrafter1进行了大幅改进,实现了更好的运动轨迹和更好的概念组合。
让我们一起看看官方测试效果:
该模型是不使用高质量视频的情况下训练高质量模型,研究人员分析了视频模型的空间和时间模块之间的联系,并研究了这些模块向低质量视频的分布转换。
他们观察到,全面训练所有模块会比只训练时间模块产生更强的空间(画面)和时间(动作)之间的耦合。
基于这种更强的耦合,他们通过使用高质量图片微调空间模块,在不降低动态效果的前提下,实现了分布向更高质量转换,从而得到了一个通用的高质量视频模型。
模型已于昨日上架HuggingFace,可以下载模型后使用gradio(一个开源的用户界面)在你自己的硬件设备上离线运行。
模型下载
在HuggingFace下载模型文件
https://huggingface.co/VideoCrafter/VideoCrafter2/tree/main
本地运行
- 克隆github项目:
https://github.com/AILab-CVC/VideoCrafter
- 然后使用下方指令启动gradio即可
python gradio_app.py
如下视频所示:
更多内容请浏览项目主页:
https://ailab-cvc.github.io/videocrafter2/
以上,欢迎转发分享。
END
如果喜欢上面的内容,请关注小麦AIGC,最新内容每日更新;如有好的选题建议,也可以给我们发消息哦。
点个在看,你最好看
更多AI工具,参考Github-AiBard123,国内AiBard123