PythonAI算法
LLaMaFactory 基于 ModelScope 免费 GPU 环境微调大模型教程
利用魔搭社区免费 GPU 资源部署 LLaMaFactory 进行大模型微调的完整流程。内容包括环境配置、模型选择与加载、数据集准备与转换、微调训练执行以及结果导出为 GGUF 格式。通过虚拟环境隔离依赖，解决依赖冲突问题；区分基座与指令模型；使用脚本转换数据集格式；监控训练损失曲线；最后修复 tokenizer 配置完成模型转换。该方案无需本地硬件即可体验大模型微调。
利用魔搭社区免费 GPU 资源部署 LLaMaFactory 进行大模型微调的完整流程。内容包括环境配置、模型选择与加载、数据集准备与转换、微调训练执行以及结果导出为 GGUF 格式。通过虚拟环境隔离依赖，解决依赖冲突问题；区分基座与指令模型；使用脚本转换数据集格式；监控训练损失曲线；最后修复 tokenizer 配置完成模型转换。该方案无需本地硬件即可体验大模型微调。
本文介绍在魔搭社区免费 GPU 环境中部署 LLaMaFactory 进行微调的方法。首先注册魔搭社区并绑定阿里云账号，可获得 36 小时免费 GPU 环境。
环境配置如下：
[图片]
克隆 llama-factory 项目，执行 pip install -e .。若出现依赖冲突提示，建议使用虚拟环境（venv）以避免权限混乱。
python -m venv llmVenv
source llmVenv/bin/activate
退出虚拟环境使用 deactivate。在虚拟环境中升级 pip：
pip install --upgrade pip
随后执行以下命令安装依赖并启动 WebUI：
pip install -e .
pip install -r requirements/metrics.txt
llamafactory-cli webui
启动后访问 http://127.0.0.1:7860 即可在浏览器中操作。
选择模型时需注意 Base 与 Instruct 的区别：
例如 Qwen3.5-2B-Base 虽带 Base 后缀，但作为后训练模型已具备对话能力。
[图片]
点击【Chat】加载模型，可配置以下参数：
例如 {"vllm_enforce_eager": true} 为 vLLM 专用参数，若当前引擎为 huggingface 则无需保留，否则可能报错。
[图片]
加载模型后控制台会自动下载对应模型文件。也可手动通过 ModelScope 下载：
modelscope download --model Qwen/Qwen3.5-2B
模型加载成功后即可正常对话。
[图片]
魔搭社区提供大量数据集供下载使用。
以蚂蚁金融语义相似度数据集为例，下载 train.csv 文件。数据格式通常包含 sentence1、sentence2 及 label（0 表示不同，1 表示相同）。
[图片]
需将 CSV 转换为 LLaMaFactory 所需的 JSON 格式。可使用脚本处理，示例逻辑如下：
[图片]
执行 Python 脚本生成目标 JSON 文件，将其移动至 LLaMA-Factory 项目的 data 文件夹中，并修改 dataset_info.json 配置文件以注册该数据集。
dataset_info.json 用于管理数据集路径和名称。
[图片]
在界面中选择配置好的数据集，点击【预览数据集】查看示例。
[图片]
点击【开始】微调模型。注意 GPU 环境超过 1 小时无操作可能触发自动关闭，需定期保持活动。
[图片]
训练过程中损失值 Loss 随步数 Step 变化，分为原始曲线和 smoothed 平滑曲线，用于监控学习情况。
[图片]
训练完成后，在检查点路径找到微调后的模型文件。
[图片]
导出后可尝试加载微调后的模型进行对话测试。
[图片]
为兼容 ollama 或 llama.cpp，需将 Hugging Face 格式转换为 GGUF。
建议创建独立 Python 环境：
python -m venv cppVenv
source cppVenv/bin/activate
克隆 llama.cpp 并安装依赖：
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
pip install -r requirements.txt
python convert_hf_to_gguf.py /mnt/workspace/models/Qwen3.5-2B-output --outfile /mnt/workspace/gguf/Qwen3.5-2B-output.gguf --outtype q8_0
若遇到 Tokenizer 错误，需检查 tokenizer_config.json 中的 tokenizer_class 字段。Qwen3.5-2B 对应 Qwen2Tokenizer，可使用 sed 替换：
sed -i 's/"tokenizer_class": "TokenizersBackend"/"tokenizer_class": "Qwen2Tokenizer"/g' /mnt/workspace/models/Qwen3.5-2B-output/tokenizer_config.json
修复后重新执行转换命令即可得到 GGUF 文件。
[图片]
本文介绍了在不花费成本的前提下，利用云资源完成从环境搭建到模型微调及格式转换的完整流程。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online