Stable Diffusion WebUI 部署流程包括环境准备、模型管理、插件配置及常见问题解决。文章详细说明了 Linux 环境下通过 Conda 安装依赖、运行脚本启动服务、修改配置文件实现外网访问的方法。同时介绍了 Checkpoint、LoRA、ControlNet 等模型的使用路径，以及 Tagger 标签反推插件的安装与故障排除。重点涵盖了 ControlNet 各类预处理器（如 Canny、Tile）的具体应用场景和参数设置，为 AI 绘画用户提供完整的本地化部署方案。
# 首先，已经预先安装好了 anaconda，在这里新建一个环境
conda create -n sdwebui python=3.10
# 安装完毕后，激活该环境
conda activate sdwebui
# 安装
# 下载 stable-diffusion-webui 代码
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
cd stable-diffusion-webui
bash webui.sh -f
执行完之后，脚本会自动创建 python 环境、安装各种包、模型等。
安装完成前期的环境准备之后，之后每次运行只需要：
conda activate sdwebui
cd stable-diffusion-webui
bash webui.sh -f
# 或者按照如下方式，将 sd 放在后台执行
nohup bash webui.sh -f >> nohup.log 2>&1 &
该种方式会将进程运行在本地，可以通过 ip+port 的方式直接在网页上访问。也可以通过如下方式进行简单的改造：
# 编辑 webui-user.sh 脚本
vim webui-user.sh
# 在终端中输入'i'进入编辑模式，移动到 COMMANDLINE_ARGS，并将其修改为：
export COMMANDLINE_ARGS="--listen --share --enable-insecure-extension-access"
上述命令含义如下：
--listen：将本地连接从 127.0.0.1 修改为 0.0.0.0，即可通过服务器 IP:7861 进行访问
--share：生成可供外网访问 Gradio 网址。
--enable-insecure-extension-access：使用–listen 时，webui 出于安全考虑会禁止用户在 UI 页面添加插件，添加该参数可允许用户添加插件。
--medvram 或 --lowvram：降低显存消耗
PS：windows 下的同理，在 webui-user.bat 中修改即可
最终效果如下：
初步安装完成后，打开 webui，可以看到左上角自带的模型。如下图示：
模型的分类大概有如下几种：
.ckpt 或者 .safetensors，并且体积比较庞大，一般在 2G - 7G 之间。放置在 webUI 目录下的 models/Stable-diffusion 目录下。.safetensors，体积较主模型要小得多，一般在 4M - 300M 之间。一般使用 LoRA 模型较多，而 LyCORIS 与 LoRA 相比可调节范围更大，但是需要额外的扩展才可使用。放置在 models/LoRA 目录下。.pt 或者 .safetensors，体积非常小，一般只有几 kb。放置在 embeddings 目录下。.pt 或者 .safetensors，体积一般在 20M - 200M 之间。放置在 models/hypernetworks 目录下。.safetensors。放置在 models/ControlNet 目录下。sd_vae。然后依次点击 Apply settings 和 Reload UI。随后就会在 webui 中看到对应区域。下载好上述模型之后，可以在页面上直接通过标签进入选中，可以直接 prompt 使用：
报错信息：
20xx-xx-xx 10:35:12.003960: I tensorflow/core/util/port.cc:113] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`.
20xx-xx-xx 10:35:12.143798: I external/local_tsl/tsl/cuda/cudart_stub.cc:31] Could not find cuda drivers on your machine, GPU will not be used.
20xx-xx-xx 10:35:12.762893: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:9261] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered
20xx-xx-xx 10:35:12.762960: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:607] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered
20xx-xx-xx 10:35:12.888382: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1515] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered
src/tcmalloc.cc:283] Attempt to free invalid pointer 0x59c2527199d0
解决： 参考： ① 在 centos7 环境下，安装 jemalloc
yum install epel-release
yum install jemalloc
② 添加到 webui-user.sh
export LD_PRELOAD="/usr/lib64/libjemalloc.so.1"
示例 1：提前下载 Checkpoint 模型：'CheckpointLigneClair_120' 可以到 p 站上下载：
masterpiece,1girl,solo,incredibly absurdres,hoodie,headphones, street,outdoors,rain,neon lights, light smile, hood up, hands in pockets, looking away, from side,asymmetrical bangs, beautiful detailed eyes, eye shadow, huge clocks, glass strips, floating glass fragments, colorful refraction, beautiful detailed sky, dark intense shadows, cinematic lighting, overexposure, expressionless, blank stare, big top sleeves, frills, hair ornament, ribbon, bowtie, buttons, small breasts, pleated skirt, sharp focus, masterpiece, best quality, extremely detailed, colorful, hdr
Sampler: DPM++ 2M Karras
Negative prompt: EasyNegative
CFG scale: 7
Steps: 20
效果如下：
汇总如下：
| 类别 | ControlNet 模型 | 功能 |
|---|---|---|
| 边缘轮廓 | canny | 边缘检测，根据线稿生图 |
| 边缘轮廓 | mlsd | 直线检测，适用于建筑设计 |
| 边缘轮廓 | softedge | 软边缘检测，保留更多边缘细节 |
| 边缘轮廓 | scribble | 涂鸦生图 |
| 边缘轮廓 | lineart | 提取精细线稿生图 |
| 边缘轮廓 | lineart_anime | 提取动漫线稿 |
| 深度结构 | depth | 深度检测，根据深度信息生图 |
| 深度结构 | normalbae | 法线贴图，提取法线信息 |
| 图片元素 | seg | 语义分割，不同颜色语义代表不同对象类型 |
| 图片元素 | normalbae | 人物姿势检测，根据姿势生图 |
| 图像处理 | inpaint | 图像扩展和修复 |
| 图像处理 | shuffle | 风格迁移融合 |
| 图像处理 | ip2p | 对图片进行指令式变换 |
| 图像处理 | tile | 细节增强 |
Canny 用于识别输入图像的边缘信息。分成两个部分，canny 预处理器和 canny 模型：
首先 canny 预处理器从上传的图片中生成线稿；然后 canny 模型根据关键词来生成与上传图片相同构图的画面。
（1）线稿生图
步骤如下：
首先将 controlnet 插件的 enable 打开
->如果显存不足 (小于 4G)，还可以将 Low VRAM 打开
->如果是白底黑线的线稿，Preprocessor 选择 invert，如果是黑底白线的线稿，Preprocessor 选择 none
->Model 选择 canny
->Resize Mode 选择 Resize and Fill（不然比例会不对）然后选择合适的 sd model，输入 prompt，我这里是：(masterpiece:1.2), (best quality), (ultra detailed), (8k, 4k, intricate), oil painting texture, 1girl, solo, black eyes, pink hair, lightly smile, upper body, blue shirts, simple background, lips, long hair, black hair 最后效果如下：
图上红框中选择的 controlnet 模型为 control_v11p_sd15_canny，其含义如下：
（2）以图生图
一般用来给图换色，和第一步不同的是，将 Preprocessor 选择 canny，其他可以保持不变：
Reference 是官方最新推出的预处理器，共有三种：Reference_only、Reference_adain 和 Reference_adain+atten。它只有 yaml 配置文件，没有 pth 模型文件，可以根据上传的图像生成类似的变体。
使用 reference_only 的预处理器和 0.5 的 Style Fidelity：
（相比之前，添加了 angry 标签）
Tile 模型的作用是可以忽略原图的细节，根据现有像素和提示词生成新的细节，目前主要作用是将严重模糊的图片放大并变得高清。
选择 tile_resample 的预处理器和 control_v11f1e_sd15_tile 的模型，结果如下：
将一张图片的风格迁移到另一张图片上
根据图片，一键反推提示词，反推的关键词更精准，生成的图片效果也更接近于原图
两种安装方法：
2024-01-03 14:59:08.369709: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:9261] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered
2024-01-03 14:59:08.369772: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:607] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered
2024-01-03 14:59:08.370929: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1515] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered
src/tcmalloc.cc:284] Attempt to free invalid pointer 0xaa705c0
webui.sh: line 256: 7687 Aborted (core dumped) "${python_cmd}" -u "${LAUNCH_SCRIPT}" "$@"
两种解决方法：
① 注释掉这行代码（在 Requirements 文件中）
%env LD_PRELOAD=libtcmalloc.so
② 使用 jemalloc 优化内存分配
1、在 centos7.x 中执行
yum install epel-release
yum install jemalloc
2、在 webui-user.sh 中添加
export LD_PRELOAD="/usr/lib64/libjemalloc.so.1"
选中 Tagger 标签，上传一张图片，点击 interrogate image，即可生成图片的对应标签
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online