最近 Stable Diffusion WebUI 发布了 1.8.0 版本,更新内容较多,显存使用效率有显著提升。以下是几个核心更新的详细说明。
1、处理性能优化
Torch 版本支持到了 2.1.2,更高的 Torch 版本通常意味着更优的处理效率,搭配的 CUDA 需要是 11.8 或者 12.1。
支持 FP8 精度的计算,FP8 使用 8 位浮点数进行运算,会节省不少显存。官方称图片质量没有明显下降,只是推理速度可能会稍微慢一点。使用 FP8 时,PyTorch 版本需要>=2.1.0。建议显存小于 8G 的用户开启。
喜欢尝鲜的同学可以先试试,不过也需要硬件、操作系统和相关库的适配,可能会遇到一些小问题。
Torch 是一个老牌开源机器学习库,其底层实现基于 C/C++。Torch 提供了强大的张量计算功能以及一套完整的深度学习框架,支持高效的 GPU 加速计算和自动求导机制。
PyTorch 可以看作是 Torch 的一个分支或者后继者,保留了 Torch 的一些核心理念和技术优势,同时通过采用 Python 这一流行的数据科学和机器学习领域的编程语言,极大地提高了用户友好度和生态系统的兼容性。目前一般所说的'Torch 版本'可以理解为 PyTorch 项目的版本号。
CUDA 是由 NVIDIA 公司推出的一种并行计算平台和编程模型,它使得开发者能够利用 NVIDIA 的 GPU 进行大规模并行计算,从而极大地加速数据密集型任务,尤其是在处理深度学习中大量浮点运算时的优势尤为明显。
PyTorch 依赖 CUDA,不同版本的 PyTorch 需要特定版本的 CUDA。
2、内置 LCM 采样器
Stable Diffusion WebUI 1.8.0 中内置了 LCM 采样器,不需要再单独安装。
LCM 全称 Latent Consistency Models(潜在一致性模型),是清华大学交叉信息科学研究院研发的一款生成模型。它的特点是可以通过少量步骤推理合成高分辨率图像,使图像生成速度提升 2-5 倍,需要的算力也更少。LCMs 是继 LDMs(Latent Diffusion Models 潜在扩散模型)之后的新一代生成模型。
Consistency Models 对去噪推理这一步进行了优化,它不再需要像 Diffusion 模型那样逐步迭代,而是追求'一步完成推理',这样需要处理的步数减少了,图像的生成速度自然就提升了。LCM 则是在 Consistency Models 的基础上引入了 Latent Space(潜空间),进一步压缩需要处理的数据量,从而实现超快速的图像推理合成。LCM 官方以此训练了一个新的模型 Dreamshaper-V7,仅通过 2-4 步就能生成一张 768*768 分辨率的清晰图像。
实际测试,对于大多数 LCM 模型,4 步可以得到清晰图像,6-10 步图片质量就不错了,宽高 512*512 在 3090 显卡上可以做到秒级出图。
[图:LCM 采样效果对比]
使用的 LCM 模型可从 HuggingFace 等社区资源站获取。
3、支持 SDXL-Inpaint 模型
以往在使用 SDXL 通用模型进行图像修复时,用户经常会遇到修复效果不尽如人意的情况。现在,diffusers 发布了专注于图片修复功能的 SDXL-Inpaint 模型,该模型特别强化了对局部区域进行精确重绘的能力。
[图:SDXL-Inpaint 修复效果对比]
SDXL-Inpaint 模型文件可在相关模型仓库下载。
4、柔和重绘
在 1.8.0 版本中,图生图模块迎来了一项极为实用的新特性——柔和重绘模式。此前,在缺乏这一功能时,对图像进行局部重绘的操作往往会导致生成图片存在较为显著的瑕疵问题,尤其是可见的接缝痕迹十分明显。而随着 1.8 版本新功能的引入,局部图像的重绘处理得到了显著改善,能够更加平滑地融合原图与生成部分,从而极大减少瑕疵并消除明显的拼接感,使得最终效果更为自然和理想。
比如这里把一只可爱的小猫重绘为一只呆萌的小狗:
[图:柔和重绘效果示例]
在'图生图'界面可以打开这个设置。
5、其它更新
高清化:支持了 3 个 DAT 放大模型:DAT X2;DAT X3;DAT X4,从放大生成速度上来讲,DAT X4 最快,X3 中等,X2 最快。从放大质量上来讲,DAT X2 是最好的。一般显卡大于 8G 的就用 DAT X2。
支持提示词注释。
支持昇腾 NPU 芯片出图。
本地而非 Google 服务器提供字体服务。
当然还有很多其它的更新,包括修复了很多 BUG,扩展了很多 API,有兴趣的可以去官方页面看看。
6、使用 1.8.0
一种方式就是从 Github 下载最新版本的代码,覆盖到本地目录,重启后即可使用最新版本。不过可能会遇到一些插件或者包版本冲突方面的问题,需要自行解决。
创建实例时选择相应的镜像或环境,输入 webui 镜像的最新版本即可体验。
[图:WebUI 启动界面]


