第五节.Stable Diffusion大模型

第五节.Stable Diffusion大模型

🍉大模型(Stable Diffusion 模型)

大模型,也叫 Stable Diffusion 模型,是 Stable Diffusion 绘图的核心基础,所有生成效果都依赖它。


常见版本

大模型已迭代出多个版本,常见的有:

  • Stable Diffusion 1.4(SD1.4)
  • Stable Diffusion 1.5(SD1.5)
  • Stable Diffusion 2.0(SD2.0)
  • Stable Diffusion 2.1(SD2.1)
  • Stable Diffusion XL(SDXL)
  • Playground、Stable Cascade 等

对初学者来说,重点记住两个主流版本

  • SD1.5:最经典、生态最成熟,适合大多数场景
  • SDXL:新一代大模型,画质更高、细节更强

其他版本可以后续慢慢了解。

重要注意事项

SD1.5 和 SDXL 不通用

  • SD1.5 必须搭配 SD1.5 专用 的 ControlNet 等模型
  • SDXL 必须搭配 SDXL 专用 的 ControlNet 等模型用错版本会直接报错,后面会结合案例详细说明。

🍉为什么要切换不同的大模型?

要理解为什么要切换大模型,核心是搞清楚 SD1.5SDXL 这两代主力模型的区别:

1. 理论层面:SDXL 更 “强”

  • SDXL(新版本):训练用的是 1024×1024 分辨率图像
    • 理论上出图效果更好
    • 能理解更多词汇
    • 画面更精致、细节更丰富
  • SD1.5(老版本):训练用的是 512×512 分辨率图像
    • 基础能力不如 SDXL

2. 现实层面:SD1.5 更 “好用”

  • SD1.5
    • 发布早,生态极其成熟
    • 有海量微调模型、LoRA、ControlNet 等配套资源
    • 出图效果已经很好,商用场景大多够用
    • 对显卡要求低,生成速度快
  • SDXL
    • 发布晚,生态还在追赶
    • 模型体积大,对显卡要求高
    • 微调难度大,间接拖慢生态发展
    • 出图速度比 SD1.5 慢好几倍
    • 这些限制导致普及速度较慢

简单总结:

  • 追求画质、细节、表现力 → 优先用 SDXL
  • 追求速度、兼容性、生态资源 → 优先用 SD1.5

2026.1现状:SDXL 生态变好,但 SD1.5 仍主流

到 2026 年 1 月,SDXL 的生态已经比刚发布时完善很多,但 SD1.5 依然是很多人的首选。这一点很重要,因为后面用别人的 ComfyUI 工作流时,必须先看作者用的是哪个版本的大模型,再做对应调整,否则容易报错。


加速模型:LCM / Turbo / Lightning

除了官方版本,你还会遇到带 LCM、Turbo、Lightning 等后缀的模型,它们都属于加速模型

  • 背景:SDXL 对电脑性能要求高,生成速度慢,所以官方和第三方都在做加速方案。
  • 代价:加速通常会牺牲一点画质(优秀的加速模型,画质损失很小)。
  • 用途:适合需要快速出图、预览效果的场景。

刚才花了一点时间,了解两大版本的差别,那么为什么每个版本下,会有那么多的第三方模型呢?

主要是为了增强某些方面的特殊优化。

优化之后,有些模型会更适合画写实类的画面,有些是二次元,还有一些模型会很适合画幻想元素等等。这个就好比,第三节提到的“雕刻师”都是转职过的,技能上会有所偏向,平时大家使用的,也大多是这些微调的大模型,效果会更好。

🍉模型下载网站:

LibLib(哩布哩布)

LibLib 是国内的大模型分享平台,无需科学上网即可访问。

  • 经过一年多发展,已沉淀大量优质模型,包含不少原创作者的作品;
  • 同时也搬运了许多国外优秀模型,下载方便;
  • 虽有部分模型不开放下载,但绝大多数可免费获取

官方地址https://www.liblib.art/

Civitai(C 站)

Civitai 是业内老牌的模型网站,也被称作 C 站

  • 特点:模型全、更新快,配有缩略图,方便筛选;
  • 限制:需要科学上网 (魔法)才能访问;
  • 官方地址:https://civitai.com/

Hugging Face(抱脸)

Hugging Face 也被称作 “抱脸”,是一个可以下载插件、模型和代码的平台。

  • 特点:更偏向开发者,而非设计师,查找资源的操作门槛相对较高;
  • 访问限制:早期无需科学上网,现在需要科学上网才能正常访问;
  • 官方地址:https://huggingface.co/

🍉模型推荐

面对众多模型,如何挑选效果好的?

其实没有绝对标准,核心是按任务和目标选择

  • 做漫画 → 选二次元风格大模型
  • 做摄影 → 选写实类大模型

这也是 AI 绘画需要大容量硬盘的原因 —— 很多人会下载几十 G 甚至上百 G 的模型,来覆盖不同场景。

当然,也有一些公认优秀的模型,下面做简单推荐,大家可以先下载,后续使用时就不用临时等待下载了。

这里我将一些常用的模型存到了网盘里,大家可以去一键下载。
链接: https://pan.baidu.com/s/1zUVEfCKQmvYUx7JAN_1rvw 提取码: g2wp 

SD1.5

写实类模型推荐

majicMIX realistic(麦橘写实)

  • 这是一款非常优秀的真人写实模型,深受摄影师群体喜爱;
  • 生成美女等写实人像效果稳定、靠谱;
  • 下载地址:majicMIX realistic 麦橘写实

 

ChilloutMix

  • 一款老牌写实真人模型,在早期非常流行;
  • 虽然现在看技术上稍显落后,但日常使用依然可行;
  • 下载地址:ChilloutMix

 

Realistic Vision

  • 一款通用型写实大模型,适用场景广、通用性强;
  • 缺点:生成亚洲面孔时,效果不如 majicMIX realistic、ChilloutMix 出色;
  • 优点:在其他写实场景(如风景、静物、欧美人像等)中表现实用;
  • 下载地址:Realistic Vision V6.0

2.5D 模型

ReVAnimated

  • 实用性非常高,已默认打包在提供的 ComfyUI 中;
  • 若不慎删除,可在相关网站或网盘中重新下载;
  • 下载地址:ReVAnimated

 

动漫模型

Counterfeit-V2.5

  • 经典动漫风格大模型,适合二次元插画、角色生成;
  • 下载地址:Counterfeit-V2.5

 

SDXL 写实类模型推荐

XXMix_9realisticSDXL

  • 专门针对 SDXL 版本 的写实模型;
  • 解决了默认 SDXL 模型生成亚洲面孔效果不佳的问题,适合生成亚洲人像;
  • 下载地址:XXMix_9realisticSDXL

 

realisticStockPhoto_v20

 

其他模型

Juggernaut XL

  • 一款通用性较强的模型,在数字艺术类作品的生成上表现出色;
  • 下载地址:Juggernaut XL

 

🍉模型下载后,如何安装?

在 ComfyUI 中,大模型无需安装,只需放到指定文件夹即可。

  • 下载的 Stable Diffusion 大模型,放在 models 下的 checkpoints 文件夹中;
  • 可以在 checkpoints 里建二级文件夹分类存放,也可以直接放进去,ComfyUI 都能识别。

下一节,我们就基于一个实际案例,来讲解如何通过大模型来生成一张不错的图片,大家不见不散。

 

 

 

 

Read more

大模型微调主要框架 Firefly vs LLaMA Factory 全方位对比表

Firefly vs LLaMA Factory 全方位对比表 + 生物医药垂类微调选型建议 一、核心维度对比表格 对比维度Firefly(流萤)LLaMA Factory开发主体个人开源:杨建新(YeungNLP),前Shopee NLP工程师,中山大学硕士社区开源:hiyouga核心维护,全球开源社区协同迭代项目定位聚焦中文大模型的轻量化训练框架+配套中文优化模型通用型全栈大模型微调框架,无语言/模型偏向,极致兼容支持基座模型以中文友好模型为主(Llama系列、Qwen、ChatGLM、Firefly自训模型),覆盖有限但深度适配全主流开源模型全覆盖(Llama、Qwen、Mistral、DeepSeek、GLM、Yi、Firefly等),几乎无适配成本支持微调方式基础SFT、LoRA/QLoRA、增量预训练,进阶对齐方法较少SFT、DPO/IPO/KTO、RLHF、预训练、多模态微调,全流程对齐方案完整中文优化原生深度优化:中文分词、语料、表达逻辑专项适配,

Llama 3-8B-Instruct 在昇腾 NPU 上的 SGLang 性能实测

Llama 3-8B-Instruct 在昇腾 NPU 上的 SGLang 性能实测

1.引言 随着大模型在各类智能应用中的广泛应用,高效的推理硬件成为关键瓶颈。昇腾 NPU(Ascend Neural Processing Unit)凭借其高算力、低能耗以及对 SGLang 的深度优化,能够显著提升大模型推理性能。本文以 Llama 3-8B-Instruct 为例,通过在昇腾 NPU 上的实测,展示其在吞吐量、延迟和资源利用方面的优势,并探索可行的优化策略,为开发者在今后的开发中提供可参考的案例。 在本篇文章中我们会使用到Gitcode的Notebook来进行实战,GitCode Notebook 提供了开箱即用的云端开发环境,支持 Python、SGLang 及昇腾 NPU 相关依赖,无需本地复杂环境配置即可直接运行代码和进行实验。对于没有硬件平台的小伙伴来说是非常便利的。 GitCode Notebook使用链接:https://gitcode.com/user/m0_49476241/notebook。 2.实验环境与准备 2.

【AIGC】Claude Code的三大模式

Claude Code 主要有三大核心权限/执行模式(默认、自动编辑、计划),以及思考强度模式、危险模式等辅助模式。 一、三大核心执行模式(权限控制) 这是最常用的三种模式,控制 Claude 对文件与命令的自动化程度,可通过 Shift+Tab 循环切换。 1. 默认模式(Normal / Manual Approval) * 状态栏:? for shortcuts * 行为:每次文件编辑、命令执行前都需要你手动批准(Y/N/跳过) * 适用:学习阶段、不熟悉的项目、重要/敏感修改、需要精细控制 * 特点:最安全、掌控感最强,但效率较低 2. 自动编辑模式(Auto-Accept / Accept Edits) * 状态栏:

蓝耘智算 + 通义万相 2.1:为 AIGC 装上 “智能翅膀”,翱翔创作新天空

蓝耘智算 + 通义万相 2.1:为 AIGC 装上 “智能翅膀”,翱翔创作新天空

1. 引言:AIGC 的崛起与挑战 在过去几年中,人工智能生成内容(AIGC)技术突飞猛进。AIGC 涉及了文本生成、图像创作、音乐创作、视频制作等多个领域,并逐渐渗透到日常生活的方方面面。传统的内容创作方式已经被许多人类创作者所推崇,但随着时间的推移,人工智能的出现使得创作的边界变得更加模糊。 然而,尽管人工智能技术取得了巨大进展,如何高效地将 AI 模型与计算平台结合,以便为 AIGC 提供更加高效、智能的支持,仍然是一个关键问题。蓝耘智算与通义万相 2.1 的结合为解决这一问题提供了新的方向。这种创新的技术融合使得 AIGC 可以不仅仅依赖于数据处理的能力,还可以实现智能化的生成和创作,推动内容创作的未来。 2. 蓝耘智算:为 AIGC 提供智能支持 2.1 蓝耘智算简介 蓝耘智算是一种综合性计算平台,专注于为大规模人工智能应用提供优化计算资源。在过去几年中,蓝耘智算不断发展壮大,已成为许多行业中的顶尖计算平台之一,广泛应用于机器学习、