终极ComfyUI-BrushNet图像编辑指南:从入门到精通的AI绘画神器
终极ComfyUI-BrushNet图像编辑指南:从入门到精通的AI绘画神器
ComfyUI-BrushNet是一套功能强大的自定义节点,为ComfyUI提供了原生实现的图像修复和编辑能力,包括BrushNet、PowerPaint和HiDiffusion等先进模型。本指南将帮助你快速掌握这个AI绘画神器,轻松实现专业级图像编辑效果。
🚀 什么是ComfyUI-BrushNet?
ComfyUI-BrushNet是ComfyUI的扩展节点集,实现了多项前沿的AI图像编辑技术:
- BrushNet:基于论文《BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion》的图像修复模型
- PowerPaint:来自论文《A Task is Worth One Word: Learning with Task Prompts for High-Quality Versatile Image Inpainting》的高质量通用图像修复技术
- HiDiffusion:基于《HiDiffusion: Unlocking Higher-Resolution Creativity and Efficiency in Pretrained Diffusion Models》的高分辨率图像生成技术
这些工具让你能够在ComfyUI中实现专业级的图像修复、对象移除、扩展绘画等高级编辑功能,无需编写复杂代码。
图1:ComfyUI-BrushNet基础工作流界面,展示了核心节点的连接方式
🔧 快速安装步骤
安装ComfyUI-BrushNet非常简单,只需几个步骤即可完成:
- 下载模型文件:
- BrushNet模型:可从官方驱动链接下载
- PowerPaint模型:从HuggingFace下载
- SD1.5文本编码器:从HuggingFace获取
- 放置模型文件:
- 将BrushNet和PowerPaint模型文件放入
models/inpaint文件夹 - 将文本编码器模型放入
models/clip文件夹
- 将BrushNet和PowerPaint模型文件放入
安装依赖:
pip install -r requirements.txt 克隆仓库到ComfyUI的custom_nodes目录:
git clone https://gitcode.com/gh_mirrors/co/ComfyUI-BrushNet.git 🎯 核心功能与使用方法
基础图像修复工作流
ComfyUI-BrushNet的基础工作流非常直观,以下是基本步骤:
- 加载基础模型和BrushNet模型
- 准备输入图像和掩码
- 设置修复参数和提示词
- 连接节点并运行
基础工作流文件可在example/BrushNet_basic.json找到。
图3:SDXL版本的BrushNet工作流,支持更高质量的图像生成
高级功能探索
ComfyUI-BrushNet提供了多种高级功能,满足不同的编辑需求:
批量图像处理
通过图像批量处理功能,你可以同时处理多张图片,大幅提高工作效率。工作流文件:example/BrushNet_image_batch.json
大图像修复技巧
对于大尺寸图像,建议使用CutForInpaint节点切割图像,处理后再合并,工作流文件:example/BrushNet_cut_for_inpaint.json
物体移除功能
使用PowerPaint的物体移除功能,可以轻松去除图像中不需要的物体。关键是在提示词中添加"empty scene blur"等引导词。
⚙️ 关键参数详解
BrushNet节点参数
- scale:默认1.0,控制BrushNet的强度,值越大效果越明显
- start_at:默认0,开始应用BrushNet的步骤
- end_at:默认10000,停止应用BrushNet的步骤
调整start_at和end_at参数可以显著影响最终效果。较低的start_at值让BrushNet更早介入,结果更受原图影响;较高的值则让基础模型先构建场景。
PowerPaint节点参数
- fitting:PowerPaint拟合程度
- function:选择不同的功能模式,如物体移除、扩展绘画等
- save_memory:内存节省模式,适合显存不足的情况
📈 RAUNet:提升图像质量的秘密武器
RAUNet是HiDiffusion中的技术,能有效减少图像中的异常结构(如多余的手指、扭曲的面部等),提高生成质量。
图8:RAUNet效果对比,右图使用RAUNet后图像质量明显提升
RAUNet节点参数:
- du_start/du_end:控制下采样/上采样的应用步骤
- xa_start/xa_end:控制交叉注意力调整的应用步骤
💡 实用技巧与最佳实践
- 参数调整建议:
- 对于物体移除,尝试将
start_at设为5-8,让基础模型先构建场景 - 细节修复时,可将
end_at设为总步数的80%,保留基础模型的细节处理
- 对于物体移除,尝试将
- 提示词技巧:
- 物体移除:添加"empty scene blur"到提示词
- 扩展绘画:使用"empty scene"引导模型理解上下文
- 性能优化:
- 显存不足时启用PowerPaint的
save_memory选项 - 批量处理时使用Evolved Sampling减少内存占用
- 显存不足时启用PowerPaint的
图9:结合IPAdapter Plus的高级工作流,实现更精确的风格控制
❗ 常见问题与限制
- 兼容性问题:
- 与FreeU_Advanced和jank HiDiffusion节点不兼容
- 模型更改应放在BrushNet节点之前
- 结果质量依赖:
- 高度依赖基础模型的质量和风格
- 不规则形状的掩码可能导致效果不佳
- 解决方法:
- 尝试不同的
start_at和end_at参数组合 - 使用Blend Inpaint节点混合修复结果和原图
- 尝试不同的
🎉 总结
ComfyUI-BrushNet为ComfyUI用户提供了强大的图像编辑能力,无论是简单的修复还是复杂的创意编辑,都能轻松应对。通过本指南的学习,你已经掌握了从安装到高级应用的全部知识。现在就开始探索这个强大工具,释放你的创造力吧!
记住,最好的学习方法是实践。尝试不同的工作流,调整参数,观察结果变化,你很快就能成为ComfyUI-BrushNet的专家!