AnimateDiff for ComfyUI

AnimateDiff for ComfyUI 是一种针对 ComfyUI 的集成工具，旨在提供改进的 AnimateDiff 整合以及先进的采样选项，被称为“Evolved Sampling”。这使得用户能够生成更加平滑和连贯的动画。通过在 Stable Diffusion 的基础上添加一层运动模组实现。

使用场景

1. 文本生成动态图片（txt2img）：通过输入文本提示生成一系列动画帧，从而实现从纯文本描述到动画的转换。

2. 图片生成动态图片（img2img）：通过对静态图片进行进一步处理，生成一系列连贯的动画帧，这适用于将静态图像转换为动画的需求。

3. 动画视频处理：支持加载和处理已有的视频文件，可用于视频剪辑及效果增强。

4. 多模组联合使用：支持结合多个运动模组和辅助模组如 ControlNet、IPAdapter 等，生成复合效果的动画。

5. 高分辨率动画生成：通过高分辨率模型和上采样技术，生成高质量、高分辨率的动画序列。

安装步骤

通过 ComfyUI 管理器安装

1. 在 ComfyUI 管理器中搜索 AnimateDiff Evolved，确保作者是 Kosinkadink 并进行安装。

手动安装

1. 将代码仓库克隆到 custom_nodes 文件夹。

模型设置

1. 下载运动模组，将其放置在指定目录中（如 ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models）。
2. 可选：下载并配置 Motion LoRAs 以影响运动模组的生成效果。
3. 通过配置文件（如 extra_model_paths.yaml）灵活设置模型和 LoRA 存储路径。

主要特性

1. 多运动模组支持：支持多种运动模组，并提供了对新模组和特定任务优化模组的支持。
2. 无限长度动画：通过滑动上下文窗口支持无限长度的动画生成。
3. 动态调整参数：可以在采样过程中动态调整多个参数，如运动比例、效果强度等。
4. 兼容性：与多种控制模块如 ControlNet、IPAdapter 兼容，同时支持多种采样噪声类型。

基本使用

AnimateDiff for ComfyUI 提供了两类节点，分别是 Gen1 和 Gen2，前者更为简化，后者则区分了模型加载和应用过程，并引入了高级抽样特性。

样例工作流程

1. 基本文本到动画（txt2img）工作流：输入文本提示，生成短片动画。
2. 文本提示动态变化的动画：通过 BatchPromptSchedule 节点进行提示词随时间变化的动画生成。
3. 结合 FreeNoise 的长动画生成：利用 FreeNoise 技术生成更为连贯和稳定的长动画。

各类工作流示例和相关节点配置均提供详细参考，允许用户根据实际需求进行多种组合和尝试。

总之，AnimateDiff for ComfyUI 提供了丰富的工具集和灵活的配置选项，适用于各类动画生成和处理需求，不论是简单的文本动画，还是复杂的多模组综合效果应用。