主流微调框架介绍
1. Transformer
- 生态地位：Hugging Face 核心库，NLP 领域最广泛使用的基础框架
- 技术特点：
- 支持全参数微调
- 兼容 PEFT 库扩展
- 优势：
- 生态系统最完善，社区活跃
- 与 PyTorch/TensorFlow 无缝集成
- 模型和教程资源丰富
- 适用场景：中小规模模型实验、研究和开发，微调入门首选
2. PEFT
- 技术定位：参数高效微调标准库
- 核心方法：LoRA, Prefix-tuning, AdaLoRA, Prompt Tuning
- 突出优势：
- 计算和存储成本极低
- 与 Transformers 完美集成
- 操作简单易用
- 局限性：仅支持单卡微调，不适合分布式训练
- 适用场景：资源受限环境（如单卡），需高效适配多任务的场景
3. LLaMA-Factory
- 产品特色：低代码/无代码快速微调框架
- 技术集成：多种微调方法（含 LoRA 等），集成优化技术
- 用户体验：提供友好 Web UI 界面，支持拖拽式参数配置，无需深厚代码功底
- 典型应用：快速原型验证，非技术人员微调
4. ModelScope
- 平台定位：阿里'模型即服务'(MaaS) 平台
- 技术特点：多模态模型支持，训练 - 评估 - 部署全流程
- 特色优势：中文场景优化，企业级生产环境支持
- 适用场景：需要多模态模型和完整流水线的企业用户
5. MS-SWIFT
- 规模支持：超大规模模型微调
- 核心技术：LoRA/QLoRA, 分布式训练，量化技术
- 模型覆盖：支持 500+ LLM, 200+ 多模态模型
- 适用场景：需要微调超大规模模型或追求极致性能的生产部署
6. Unsloth
- 技术突破：动态量化微调（2024 年新技术）
- 核心优化：LoRA/QLoRA 底层重构，训练速度提升 2 倍，显存占用大幅降低
- 显著特点：量化微调几乎无损精度，兼容 Hugging Face 生态
- 当前局限：仅支持单卡微调
- 适用场景：计算资源严格受限，追求训练效率极限，20B 参数以下模型
7. 小结
- 框架选择指南：
- 入门实验：Transformers+PEFT 组合
- 快速实现：LLaMA-Factory
