前言
Stability AI 发布的 Stable Diffusion 3.5 (SD3.5) 系列模型，特别是 SD3.5 Large (8B 参数)，在图像质量、提示词依从性（Prompt Adherence）和文字生成能力上都达到了开源模型的顶峰。然而，随之而来的是巨大的显存开销。
在传统的 BF16/FP16 精度下，运行 SD3.5 Large 加上庞大的 T5 文本编码器，往往需要 24GB 甚至更高的显存，这让持有 8GB/12GB 显存的广大开发者望洋兴叹。
本文将深入探讨如何利用 FP8 精度 和 Hugging Face Diffusers 库，在消费级显卡上流畅运行 SD3.5 Large，实现显存优化的实战部署。
技术解析：为什么是 FP8？
在深度学习推理中，显存主要被模型权重（Weights）和激活值（Activations）占用。
- FP16/BF16：每个参数占用 2 字节（16 bits）。
- FP8：每个参数仅占用 1 字节（8 bits）。
理论上，FP8 能将模型权重的显存占用直接砍半。与传统的 INT8（整型量化）不同，FP8 是浮点格式，更适合处理神经网络中动态范围较大的数据。
在 SD3.5 中，我们主要使用 FP8 E4M3FN 格式（4 位指数，3 位尾数），它在保持动态范围和精度之间取得了极佳的平衡，对于文生图任务，其生成的图像与 BF16 原版在肉眼上几乎无法区分，但对硬件的门槛却大大降低。
环境准备与 Diffusers 部署实战
我们将使用 Python 和 Hugging Face 的 diffusers 库进行部署。相比于 WebUI，代码部署能让我们更灵活地集成到自己的应用中。
依赖安装
首先，确保你的环境支持 CUDA，并安装最新版的依赖库。accelerate 和 bitsandbytes 是实现量化加载的关键。
pip install --upgrade torch torchvision
pip install --upgrade diffusers transformers accelerate sentencepiece protobuf bitsandbytes
加载 FP8 模型 (核心代码)
我们将直接加载 Stability AI 官方提供的 FP8 量化版模型。
import torch
from diffusers import StableDiffusion3Pipeline
# 定义模型 ID
model_id = "stabilityai/stable-diffusion-3.5-large-turbo"
# 或者使用非 Turbo 版本："stabilityai/stable-diffusion-3.5-large"
# 核心优化 1：指定 torch_dtype 为 float16，但加载 FP8 权重
# 注意：这里我们利用 Diffusers 的自动映射功能
pipe = StableDiffusion3Pipeline.from_pretrained(
model_id,
torch_dtype=torch.bfloat16, # 推理计算时使用 BF16 (30 系 + 显卡) 或 FP16
text_encoder_3=None, # 暂时不加载巨大的 T5，后面单独处理优化
tokenizer_3=None
)
# 核心优化 2：开启 CPU Offload (显存不足的神器)
# 这会将不计算的模型部分暂时移到内存，极大降低峰值显存
pipe.enable_model_cpu_offload()
# 可选：如果显存非常紧张 (如 8GB)，开启顺序卸载
# pipe.enable_sequential_cpu_offload()
print("模型加载完成！")
T5 文本编码器的量化处理
SD3.5 包含三个文本编码器，其中 T5-XXL 极其庞大（约 4.7B 参数）。如果让它以 FP16 运行，仅它自己就要吃掉近 10GB 显存。我们必须加载它的 FP8 版本。
from transformers import T5EncoderModel, BitsAndBytesConfig
# 配置 NF4 或 FP8 量化加载 T5
quantization_config = BitsAndBytesConfig(
load_in_8bit=True,
llm_int8_skip_modules=["proj_out", "lm_head"] # 防止量化过度导致精度崩坏
)
# 单独加载量化后的 T5
text_encoder_3 = T5EncoderModel.from_pretrained(
model_id,
subfolder="text_encoder_3",
quantization_config=quantization_config,
torch_dtype=torch.float16
)
# 将量化后的 T5 塞回 Pipeline
pipe.text_encoder_3 = text_encoder_3
生成效果与性能对比
我们在 RTX 4060 Ti (16GB) 和 RTX 3060 (12GB) 上进行了测试。
提示词：
A futuristic cyberpunk city street at night, neon lights reflecting on wet pavement, extremely detailed, photorealistic, 8k.
显存占用对比
| 模型版本 | 精度 | T5 编码器状态 | 显存峰值 (VRAM) | 适用显卡 |
|---|---|---|---|---|
| SD3.5 Large | BF16 | BF16 (原版) | ~26 GB | RTX 3090 / 4090 |
| SD3.5 Large | FP8 | BF16 | ~18 GB | RTX 3090 / 4090 |
| SD3.5 Large | FP8 | FP8 (量化) | ~11 GB | RTX 3060 / 4070 |
| SD3.5 Medium | FP8 | FP8 (量化) | ~6 GB | RTX 3050 / 4060 |
生成质量观察
通过对比 BF16 原版和 FP8 量化版的生成图，我们发现：
- 构图：FP8 版本在构图逻辑上与原版完全一致。
- 细节：在霓虹灯的边缘和远处建筑的纹理上，FP8 版本有极其微小的噪点差异，但在不放大的情况下肉眼难以察觉。
- 文本生成：SD3.5 引以为傲的文本生成能力（如在图片中写字），在 FP8 模式下依然保持高准确率。
进阶优化技巧
为了在实战中获得更好的体验，以下几个技巧至关重要：
- Shift 参数调整：
SD3.5 采用了 Flow Matching 架构。在 FP8 模式下，对于复杂的 Prompt，适当调整调度器的shift参数（通常在 3.0 左右）可以改善画面的对比度和色彩饱和度。 - 使用 GGUF 格式 (ComfyUI 用户)：
如果你不使用代码，而是使用 ComfyUI，强烈建议使用 GGUF 格式的 SD3.5 模型。GGUF 允许更细粒度的量化（如 Q4_K_M, Q8_0），甚至可以在 8GB 显存下运行 SD3.5 Large，虽然推理速度稍慢，但兼容性无敌。 - 编译加速 (torch.compile)：
在 Linux 环境下，使用pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True)可以进一步提升 20%-30% 的推理速度。
总结与展望
SD3.5 FP8 的出现，标志着高质量 AI 绘画的普及。
通过 FP8 量化和 Diffusers 的优化加载，我们成功将原本需要服务器级显卡才能运行的庞然大物，塞进了家用游戏显卡中。对于开发者而言，这意味着可以在本地低成本地进行微调（LoRA）、构建私有化应用（如游戏资产生成工具）或进行创意验证。
未来，随着硬件对 FP8 计算的原生支持越来越完善（如 NVIDIA Hopper/Ada 架构），AI 镜像开发的门槛将进一步降低，让我们期待更多基于 SD3.5 的创新应用诞生！
