ComfyUI文生成AI视频最佳方式:AnimateDiff完整安装使用教程 – 幽络源

ComfyUI文生成AI视频最佳方式:AnimateDiff完整安装使用教程 – 幽络源

概述

本文讲述利用ComfyUI结合AnimateDiff进行本地AI视频生成,前面幽络源测试过利用LTX Video来进行AI生成视频,但发现LTX的局限性太大,只能使用LTX专用的模型,若是更换模型则几乎不可用,而使用AnimeteDiff生成视频的话,只要使用经过SD1.5微调的模型都可以使用。

注意!!:以下插件与模型幽络源这里已经整理到网盘链接了,可以一并下载使用=>https://pan.quark.cn/s/9ed5a605b145

如图

73bc21de-97cd-4494-9df8-4b5586ed070a

步骤1:下载安装AnimateDiff-Evolved插件

官网链接=>https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

下载方式1:在 ComfyUI_windows_portable\ComfyUI\custom_nodes 目录中 执行如下命令下载

git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git

下载方式2:手动下载压缩包,然后解压到custom_nodes中,去掉-main名称,如图

de00653c785a50f66a3e4cd63ea230c6

这个插件无需我们下载相关依赖/库

步骤2:下载ComfyUI-VideoHelperSuite插件

只要你在ComfyUI中使用视频的生成,这个插件几乎都会用到的,他的主要作用是合成视频

下载方式1:进入ComfyUI_windows_portable\ComfyUI\custom_nodes目录,然后cmd执行如下命令

git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

下载方式2:直接浏览器进入https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite,手动下载压缩包,然后将其放入ComfyUI_windows_portable\ComfyUI\custom_nodes目录,解压并去掉目录名后的-main,如图

2c5f0f72-8389-4548-ae00-ec78e5525321

这个插件则需要我们下载相关的依赖/库了,CMD进入ComfyUI-VideoHelperSuite目录,利用ComfyUI自带的python为其下载依赖/库,幽络源这里使用绝对路径,命令如下

D:\ComfyUI_windows_portable\python_embeded\python.exe -m pip install -r requirements.txt

步骤3:下载AnimateDiff模型

进入huggingface官网=>https://huggingface.co/guoyww/animatediff/tree/main

下载mm_sd_v15_v2.ckpt,将其放入 ComfyUI_windows_portable\ComfyUI\models\animatediff_models目录中,如图

214adf94117ef039317b6b6a7007b4cc

步骤4:准备一个基于SD1.5微调的文生图模型

基于SD1.5的文生图模型就太多了,可以去civitai自行选择,但要注意的是一定得是基于SD1.5微调的兼容模型
幽络源这里使用的是一个二次元的动漫人物模型,本体也是基于SD1.5微调的,见上面网盘链接中的cardosAnime_v20.safetensors模型

步骤5:下载标准VAE

由于我们使用的是自己选择SD1.5模型,换句话说幽络源这里使用了标准的motion module + 非标准 的checkpoint ,那为了能让我们使用上自己想要使用的模型,这里的一个方案是更换标准VAE,官网=>https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.safetensors
下载并将其放在ComfyUI/models/vae/中,如图

8bcebc61fe91720b4817253c51985d9a

步骤6:开始进行AI视频生成

以上准备工作完成后,便是启动ComfyUI,然后创建节点工作流了,具体如下

6.1添加CheckPoint模型

如图,右键->添加节点->loaders->Load CheckPoint,然后选择我们的cardosAnime_v20.safetensors模型

9a6a3c41-2e0c-4070-8c61-a18353a31350

6.2添加文本编码器

右键->添加节点->conditioning->CLIP Text Encode (Prompt)

这个东西就是提示词,需要添加两个,一个作为正向提示词,一个作为负向提示词,然后连接到我们的CheckPoint的Clip输出节点,正向提示词就是你想要什么你就写什么描述,负向提示词就是你不希望生成神什么就写什么描述,如图

fd3c4318-250e-44f4-8e39-44e56dc3cbc9

6.3添加AnimateDiff Loader

如图,右键->添加节点->Animate Diff->①Gen1 nodes①->AnimateDiff Loader ①,将其Model连接到CheckPoint的输出model节点,将model_name切换为我们下载的mm_sd_v15_v2.ckpt,将beta_schedule切换为sqrt_linear(AnimateDiff)

e8543a17-ecc7-4de5-be95-64faa30fa1d1

6.4添加K采样器

如图,右键->添加节点->sampling->KSampler,注意其positive是正向提示词的输入节点,negative是负向提示词的输入节点,按照下图连接其提示词和model节点

ca242ac7-abe2-4a6d-9ac4-1372515efa61

6.6添加Latent Image节点

如图,右键->添加节点->Latent->Empty Latent Image,创建一个空Latent Image节点,连接到K采样器的Latent Image,此节点供我们决定图像的宽高,以及总共的帧数batch_size,需要注意的是目前幽络源这里教学的这套仅支持最大32帧率,也就是说最大可将batch_size修改为32

6551d2bb-a64a-4fdc-a8ae-b01515c22656

6.7创建VAE节点

如下图,右键->添加节点->Latent->VAE Decode,添加VAE解码节点

右键->添加节点->loaders->Load VAE,添加VAE加载节点

5fa96173-6ae9-4de8-9710-003fa9857996

将Load VAE切换为我们自己下载的标准VAE,然后根据如图连接节点

7f7ee444-1099-48aa-ab24-4d50c62c6f53

6.8添加Video Combine节点

Video Combine节点是一个视频合成的节点,如图右键->添加节点->Video Helper Suite->Video Combine,将其Images节点连接到VAE Decode的IMAGE输出节点,format用于切换保存格式

991a6480-5f1b-4b83-a599-2bb395cc87cb

6.9启动生成视频

在正向提示词节点中填充你想要的,负向提示词填充你不希望有的,然后启动即可,幽络源最终结果如下

a7e4cdd5f561fadbf7dd3bc288d52096

结语

以上是幽络源的“ComfyUI生成AI视频最佳方式 AnimateDiif”基础篇,如有疑问或感兴趣可通过下方名片加入我们交学习

Read more

离开舒适区之后:从三年前端到 CS 硕士——我在韩国亚大读研的得失

离开舒适区之后:从三年前端到 CS 硕士——我在韩国亚大读研的得失

过去一年多,我做了一个挺重要的决定:辞职,去韩国留学读研。 这段时间我几乎没怎么学习新的前端内容,但也没有停下来。我在韩国亚洲大学完成了计算机科学与技术(大数据)硕士的学习,在高强度的节奏里重新建立了自己的方法,也因为持续写博客获得了一些机会,担任本科 Web 实训课讲师。现在这段留学告一段落,我也准备重新回到前端领域,把这段经历当作一份额外的积累带回去。这篇复盘主要是想把这一路的收获、疲惫和一些值得记住的瞬间记录下来,留给未来的自己,也分享给路过的你。 文章目录 * 1、写在前面:我为什么会从前端转去读研 * 2、留学生活的关键词:卷、AI、被看见以及校庆的“放开玩” * 3、我的“结果卡片” * 4、得:这一年半我真正收获的东西 * 5、失:我付出的代价 * 6、期末周:我经历过的“高强度交付周” * 7、前端三年经验,如何在读研里“迁移复用” * 8、我在韩国的学习系统:

前端Base64格式文件上传详解:原理、实现与最佳实践

前端Base64格式文件上传详解:原理、实现与最佳实践

🌷 古之立大事者,不惟有超世之才,亦必有坚忍不拔之志 🎐 个人CSND主页——Micro麦可乐的博客 🐥《Docker实操教程》专栏以最新的Centos版本为基础进行Docker实操教程,入门到实战 🌺《RabbitMQ》专栏19年编写主要介绍使用JAVA开发RabbitMQ的系列教程,从基础知识到项目实战 🌸《设计模式》专栏以实际的生活场景为案例进行讲解,让大家对设计模式有一个更清晰的理解 🌛《开源项目》本专栏主要介绍目前热门的开源项目,带大家快速了解并轻松上手使用 🍎 《前端技术》专栏以实战为主介绍日常开发中前端应用的一些功能以及技巧,均附有完整的代码示例 ✨《开发技巧》本专栏包含了各种系统的设计原理以及注意事项,并分享一些日常开发的功能小技巧 💕《Jenkins实战》专栏主要介绍Jenkins+Docker的实战教程,让你快速掌握项目CI/CD,是2024年最新的实战教程 🌞《Spring Boot》专栏主要介绍我们日常工作项目中经常应用到的功能以及技巧,代码样例完整 👍《Spring Security》专栏中我们将逐步深入Spring Security的各个

深度解析 WebMCP:让网页成为 AI 智能体的工具库

深度解析 WebMCP:让网页成为 AI 智能体的工具库

深度解析 WebMCP:让网页成为 AI 智能体的工具库 * 深度解析 WebMCP:让网页成为 AI 智能体的工具库 * 前言 * 什么是 WebMCP? * 类比理解 * 为什么要用 WebMCP? * 1. 现有方案的局限性 * 2. WebMCP 的核心优势 * WebMCP 核心概念解析 * 1. 工具(Tools) * 2. 代理(Agent) * 3. 人类在环(Human-in-the-Loop) * 典型使用场景 * 场景一:创意设计助手 * 场景二:智能购物 * 场景三:代码审查 * WebMCP vs 现有方案对比 * 与 MCP 的关系 * 技术架构浅析 * 注册工具的基本模式 * 调用链 * 安全考量 * 1.