ComfyUI文生成AI视频最佳方式:AnimateDiff完整安装使用教程 – 幽络源

ComfyUI文生成AI视频最佳方式:AnimateDiff完整安装使用教程 – 幽络源

概述

本文讲述利用ComfyUI结合AnimateDiff进行本地AI视频生成,前面幽络源测试过利用LTX Video来进行AI生成视频,但发现LTX的局限性太大,只能使用LTX专用的模型,若是更换模型则几乎不可用,而使用AnimeteDiff生成视频的话,只要使用经过SD1.5微调的模型都可以使用。

注意!!:以下插件与模型幽络源这里已经整理到网盘链接了,可以一并下载使用=>https://pan.quark.cn/s/9ed5a605b145

如图

73bc21de-97cd-4494-9df8-4b5586ed070a

步骤1:下载安装AnimateDiff-Evolved插件

官网链接=>https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

下载方式1:在 ComfyUI_windows_portable\ComfyUI\custom_nodes 目录中 执行如下命令下载

git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git

下载方式2:手动下载压缩包,然后解压到custom_nodes中,去掉-main名称,如图

de00653c785a50f66a3e4cd63ea230c6

这个插件无需我们下载相关依赖/库

步骤2:下载ComfyUI-VideoHelperSuite插件

只要你在ComfyUI中使用视频的生成,这个插件几乎都会用到的,他的主要作用是合成视频

下载方式1:进入ComfyUI_windows_portable\ComfyUI\custom_nodes目录,然后cmd执行如下命令

git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

下载方式2:直接浏览器进入https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite,手动下载压缩包,然后将其放入ComfyUI_windows_portable\ComfyUI\custom_nodes目录,解压并去掉目录名后的-main,如图

2c5f0f72-8389-4548-ae00-ec78e5525321

这个插件则需要我们下载相关的依赖/库了,CMD进入ComfyUI-VideoHelperSuite目录,利用ComfyUI自带的python为其下载依赖/库,幽络源这里使用绝对路径,命令如下

D:\ComfyUI_windows_portable\python_embeded\python.exe -m pip install -r requirements.txt

步骤3:下载AnimateDiff模型

进入huggingface官网=>https://huggingface.co/guoyww/animatediff/tree/main

下载mm_sd_v15_v2.ckpt,将其放入 ComfyUI_windows_portable\ComfyUI\models\animatediff_models目录中,如图

214adf94117ef039317b6b6a7007b4cc

步骤4:准备一个基于SD1.5微调的文生图模型

基于SD1.5的文生图模型就太多了,可以去civitai自行选择,但要注意的是一定得是基于SD1.5微调的兼容模型
幽络源这里使用的是一个二次元的动漫人物模型,本体也是基于SD1.5微调的,见上面网盘链接中的cardosAnime_v20.safetensors模型

步骤5:下载标准VAE

由于我们使用的是自己选择SD1.5模型,换句话说幽络源这里使用了标准的motion module + 非标准 的checkpoint ,那为了能让我们使用上自己想要使用的模型,这里的一个方案是更换标准VAE,官网=>https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.safetensors
下载并将其放在ComfyUI/models/vae/中,如图

8bcebc61fe91720b4817253c51985d9a

步骤6:开始进行AI视频生成

以上准备工作完成后,便是启动ComfyUI,然后创建节点工作流了,具体如下

6.1添加CheckPoint模型

如图,右键->添加节点->loaders->Load CheckPoint,然后选择我们的cardosAnime_v20.safetensors模型

9a6a3c41-2e0c-4070-8c61-a18353a31350

6.2添加文本编码器

右键->添加节点->conditioning->CLIP Text Encode (Prompt)

这个东西就是提示词,需要添加两个,一个作为正向提示词,一个作为负向提示词,然后连接到我们的CheckPoint的Clip输出节点,正向提示词就是你想要什么你就写什么描述,负向提示词就是你不希望生成神什么就写什么描述,如图

fd3c4318-250e-44f4-8e39-44e56dc3cbc9

6.3添加AnimateDiff Loader

如图,右键->添加节点->Animate Diff->①Gen1 nodes①->AnimateDiff Loader ①,将其Model连接到CheckPoint的输出model节点,将model_name切换为我们下载的mm_sd_v15_v2.ckpt,将beta_schedule切换为sqrt_linear(AnimateDiff)

e8543a17-ecc7-4de5-be95-64faa30fa1d1

6.4添加K采样器

如图,右键->添加节点->sampling->KSampler,注意其positive是正向提示词的输入节点,negative是负向提示词的输入节点,按照下图连接其提示词和model节点

ca242ac7-abe2-4a6d-9ac4-1372515efa61

6.6添加Latent Image节点

如图,右键->添加节点->Latent->Empty Latent Image,创建一个空Latent Image节点,连接到K采样器的Latent Image,此节点供我们决定图像的宽高,以及总共的帧数batch_size,需要注意的是目前幽络源这里教学的这套仅支持最大32帧率,也就是说最大可将batch_size修改为32

6551d2bb-a64a-4fdc-a8ae-b01515c22656

6.7创建VAE节点

如下图,右键->添加节点->Latent->VAE Decode,添加VAE解码节点

右键->添加节点->loaders->Load VAE,添加VAE加载节点

5fa96173-6ae9-4de8-9710-003fa9857996

将Load VAE切换为我们自己下载的标准VAE,然后根据如图连接节点

7f7ee444-1099-48aa-ab24-4d50c62c6f53

6.8添加Video Combine节点

Video Combine节点是一个视频合成的节点,如图右键->添加节点->Video Helper Suite->Video Combine,将其Images节点连接到VAE Decode的IMAGE输出节点,format用于切换保存格式

991a6480-5f1b-4b83-a599-2bb395cc87cb

6.9启动生成视频

在正向提示词节点中填充你想要的,负向提示词填充你不希望有的,然后启动即可,幽络源最终结果如下

a7e4cdd5f561fadbf7dd3bc288d52096

结语

以上是幽络源的“ComfyUI生成AI视频最佳方式 AnimateDiif”基础篇,如有疑问或感兴趣可通过下方名片加入我们交学习

Read more

FPGA教程系列-Vivado AXI4-Stream Data FIFO核解读测试

FPGA教程系列-Vivado AXI4-Stream Data FIFO核解读测试

FPGA教程系列-Vivado AXI4-Stream Data FIFO核解读测试 FIFO depth (FIFO 深度): 定义了 FIFO 能存储多少个数据字(Data Words)。 注意:实际占用的存储资源取决于深度乘以数据宽度(TDATA width)。 Memory type (存储器类型): Auto * 决定用 FPGA 内部的哪种资源来实现 FIFO。 * Auto: 让 Vivado 综合工具根据 FIFO 的大小自动选择(通常小 FIFO 用分布式 RAM/LUTRAM,大 FIFO 用块 RAM/BRAM)。 * Block RAM: 强制使用 BRAM。 * Distributed RAM: 强制使用 LUT 搭建的

FAIR plus 机器人全产业链接会,链动全球智能新机遇

FAIR plus 机器人全产业链接会,链动全球智能新机遇

本文声明:本篇内容为个人真实体验分享,非商业广告,无强制消费引导。所有推荐仅代表个人感受,仅供参考,按需选择。 过往十年,中国机器人产业蓬勃发展。中国出品的核心部件得到了产业规模化的验证,机器人产品的整体制造能力也开始向全球输出。与此同时,机器人产业正在更加紧密地与人工智能融合,机器人从专用智能走向通用智能。 在此背景下,深圳市机器人协会打造了“FAIR plus机器人全产业链接会”,FAIR plus是一个专注于机器人全产业链技术和开发资源的平台,也是全球首个机器人开发技术展,以供应链和创新技术为切入点,推动全球具身智能机器人产业的发展。通过学术会议、技术标准、社区培育、供需对接等方式,创造人工智能+机器人各产业链环节的开发、产品、工程、方案等技术人员,以及有意引入机器人的场景方相关工艺、设备、信息技术人员线下见面的机会,达成合作,以有效促进机器人向智能化方向发展,连同提升产业整体能力的建设和配置。 2025年4月,首届“FAIR plus机器人全产业链接会”(FAIR plus 2025)以“智启未来链动全球”为主题,汇聚全球顶尖专家、企业领袖,

VLM经典论文阅读:【综述】An Introduction to Vision-Language Modeling

VLM经典论文阅读:【综述】An Introduction to Vision-Language Modeling

VLM经典论文阅读:【综述】An Introduction to Vision-Language Modeling * 【前言】论文简介 🍀 * 1、介绍(Introduction)🐳 * 2、视觉语言模型家族(The Families of VLMs) 🌟 * 2.1 基于Transformer的早期VLM工作(Early work on VLMs based on transformers) * 2.2 基于对比学习的VLM(Contrastive-based VLMs) * 2.2.1 CLIP * 2.3 掩码目标视觉语言模型(VLMs with masking objectives) * 2.3.1 FLAVA * 2.3.

软件工程的范式演进:深度解构低代码(Low-Code)的技术逻辑与未来图景

软件工程的范式演进:深度解构低代码(Low-Code)的技术逻辑与未来图景

随着企业数字化转型进入深水区,传统交付模式与爆发式业务需求之间的矛盾日益凸显。低代码(Low-Code)作为一种基于高度抽象化的开发范式,正从边缘工具演变为核心生产力。本文将从技术演进史、辩证价值论及全栈化趋势三个维度,深度剖析低代码的本质,并探讨以星图云开发者平台为代表的新一代全场景生产力工具如何重新定义软件工程。 一、溯源与定义:从指令驱动到模型驱动 低代码并非横空出世,其本质是软件工程中“抽象层级”的不断提升。 从早期的机器指令到汇编语言,再到高级程序设计语言(Java, Python等),程序员的操作对象始终在远离底层硬件,向人类逻辑靠近。20世纪80年代,第四代编程语言(4GL)尝试通过声明式语法减少代码量;2014年,Forrester正式定义了“低代码”概念。 现代低代码平台(LCAP)的核心逻辑在于:通过图形化建模(Visual Modeling)替代命令式编码(Imperative Coding)。 它将通用的界面交互、数据存储、业务流程封装为可复用的组件或卡片,开发者通过编排这些逻辑单元,即可实现复杂应用的快速交付。 二、 辩证思考:低代码的“银弹”之