ComfyUI完全入门:图生视频
作者: 萤火遛AI 来源: 萤火遛AI
大家好,我是每天分享AI应用的萤火君!
ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具,最近发展势头特别迅猛,但是 ComfyUI 的上手门槛有点高,用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法,让大家更快的掌握 ComfyUI 的使用技巧,创作出自己独特的艺术作品。
本文继续分享 ComfyUI 的使用方法:图生视频,也就是根据图片生成视频,使用的模型是SVD。
我之前的很多萌宠图片就是用它生成的,阅读量还不错:
####SVD介绍
SVD是由 Stable Diffusion 的创作者 Stability AI 公司开源发布的。
SVD的全称是 Stable Video Diffusion,也就是稳定视频扩散的意思,目前最新版本是1.1。这个模型以静止图像作为条件帧,并从中生成视频,目前还不支持使用提示词引导。默认参数下生成的结果是分辨率为1024x576的25帧视频,不过ComfyUI中实测也可以生成多种分辨率和更长时长的视频。
SVD既可用于非商业用途,也可用于商业用途。你可以在许可下使用此模型进行非商业或研究用途,不过大家也要注意遵守相关法律和规定,并确保不侵犯他人的知识产权,具体使用许可协议可以看这里:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1
####安装ComfyUI
####本地或手动安装
本系列的第一篇文章中已经详细的介绍过安装步骤,需要的同学请点此前往:ComfyUI 完全入门:安装部署
####云环境使用
如果你的电脑没有配置高性能的Nvidia显卡,我建议你可以先在云环境试试,推荐两个云平台:
京东云 :京东云最近大举进入AIGC领域,新上了AI服务器,价格同样美丽,萤火君正在制作相应的 ComfyUI 镜像,最重要的是还可以领取2个小时的代金券(领取方式见文末),先到先得,不妨先收藏起来。
京东云智算服务的地址:https://www.jdcloud.com/cn/products/gcs
AutoDL: AutoDL是一个云计算平台,提供显卡服务器租用服务,可按小时付(1-2元左右),显卡价格相比阿里云、腾讯云有明显的优势,我一直在用,推荐本地硬件性能不足的同学试试。
镜像地址:https://www.codewithgpu.com/i/comfyanonymous/ComfyUI/yinghuoai-ComfyUI
镜像使用方法:打开镜像页面,点击右下角的“AutoDL创建实例”,按照使用说明操作即可。
####使用SVD
####下载SVD模型
官方模型下载地址:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1
需要下载的文件名称:svd_xt_1_1.safetensors
如果你访问 huggingface 不方便,也可以给公众号“萤火遛AI”发消息:SVD,即可获取下载地址。
下载后放到这个目录下:ComfyUI/models/checkpoints
####使用SVD工作流
SVD的工作流比较简单,大家只要在“加载”中加载这个工作流就行了,不需要特别安装插件,工作流领取方式见文末。
我这里再做一个简单的标注,让大家了解其中的原理,并配置记得参数。
1、加载SVD模型,下载上一步介绍的模型到指定的位置,就可以在这里选择到。部署模型后请注意刷新页面,让节点尽快发现到模型。
2、上传图片,这里没什么限制,上传自己喜欢的就行了。SVD对风景或者移动物体图片的视频生成效果比较好,人物图片生成视频时需要控制动作幅度,否则容易崩溃。
3、设置帧数,这个参数影响视频的时长,默认值是25。因为默认的帧率是6,2秒就是12,4秒24。
4、设置帧率,帧率就是每秒的画面数,帧率越高视频越连贯,建议先从默认的6开始,逐步上调,看效果能否满意。
5、动态bucketID,这个参数控制视频中主体的动作幅度,值越小动作变化越小,以人或动物为主体时一定要设置为较小的值,否则容易崩溃。
其它就是一些通用操作了,刚接触 ComfyUI 或者不太明白的同学可以看我这篇文章:https://www.yuque.com/yvw351p9nn
####生成视频
最后点击“添加提示词队列”,静待视频生成就好了,生成需要的时间取决于你的机器性能、视频的分辨率和帧数。
####资源下载
-
SVD模型和工作流下载,请给公众号“萤火遛AI”发消息:SVD,即可获取。
-
京东云代金券领取,数量有限,先到先得,请扫码添加微信 yinghuojun007 领取。
以上就是本文的主要内容,如有问题,欢迎留言交流。
更多AI工具,参考Github-AiBard123,国内AiBard123