lora-scripts 支持模型详解:Stable Diffusion 与 LLaMA 2 微调实测
lora-scripts 是一款将 LoRA 微调训练过程打包好的自动化工具。它把数据准备、模型加载、参数调整、结果导出的整个流程封装好,无需关心底层复杂的训练代码。无论是想训练一个专属的画图风格,还是让大语言模型学会业务话术,该工具都能简化操作。
本文将介绍 lora-scripts 支持的主流模型,并通过 Stable Diffusion 和 LLaMA 2 的实际操作,展示其使用方法和注意事项。
lora-scripts 工具定位
lora-scripts 的核心价值是降低使用门槛。传统 LoRA 微调需要处理数据、写脚本、调试参数等繁琐步骤。该工具将这些步骤标准化、自动化,提供清晰的配置文件和一键执行脚本。
主要支持两类模型的微调:
- 图文生成模型:如 Stable Diffusion 系列。可训练专属绘画风格或特定人物。
- 大语言模型:如 LLaMA 2、ChatGLM 等。可用专业领域数据训练,提升行业理解能力。
工具设计灵活,既提供新手默认配置,也保留进阶参数调整空间。
核心应用场景
定制专属图像生成器
Stable Diffusion 生成的结果是随机的,LoRA 微调可稳定输出特定效果。
- 独特艺术风格:收集几十张特定风格图片(如赛博朋克),训练风格 LoRA,生成时自动应用滤镜。
- 复刻特定人物或 IP:准备多角度、多表情图片训练数字分身,使其出现在任意场景中。
- 生成特定物品或场景:训练物品或场景 LoRA,确保 AI 准确还原关键元素(如公司 Logo)。
让大语言模型更懂行
通用大模型可能不精通专业领域,LoRA 微调可低成本赋予专项技能。
- 垂直领域问答:用医学资料训练,提升回答准确性和专业性。
- 统一话术与文风:训练话术 LoRA,使回复符合公司要求的话术模板和语气。
- 格式化输出:实现固定表格、JSON 格式或报告模板输出,便于后续程序处理。
有限资源下快速实验
- 小数据启动:通常 50 到 200 条高质量数据即可训练可用 LoRA。
- 家用显卡运行:RTX 3090 或 4090 等消费级显卡即可完成训练。
- 持续优化:支持在已有权重基础上进行增量训练,快速迭代。
实战:训练 Stable Diffusion 风格 LoRA
以训练'赛博朋克城市'风格 LoRA 为例。
1. 数据预处理
- 收集图片:找 50 到 200 张高质量赛博朋克风格城市图片,分辨率最好在 512x512 以上。放入文件夹
data/cyberpunk_train。 - 打标签:运行自动打标命令:
python tools/auto_label.py --input data/cyberpunk_train --output data/cyberpunk_train/metadata.csv
若需更高精度,可手动创建 metadata.csv,每行格式为 图片文件名,描述。
2. 配置训练参数
修改配置文件 my_cyberpunk_config.yaml:
train_data_dir:

