【Windows笔记本大模型“傻瓜式”教程】使用LLaMA-Factory工具来完成对Windows笔记本大模型Qwen2.5-3B-Instruct微调

优质文章学习记录

— 8 min read

⚠️ 核心准备：硬件检查

在开始前，请确保你的笔记本电脑满足以下条件：

  1. 显卡（关键）： 必须是 NVIDIA 显卡（N卡）。
  2. 显存： 建议至少 6GB（我们将使用很小的模型，4GB勉强也能跑，但6GB比较稳）。
  3. 硬盘空间： 预留 20GB 以上。

第一步：搭建环境

我们需要安装 Python 环境。请按顺序操作：

  1. 下载 Miniconda (Python管理器)：
    • 访问 Miniconda官网。
    • 下载 Miniconda3 Windows 64-bit 版本并安装。安装时一直点 Next，注意勾选 “Add Miniconda3 to my PATH environment variable”（如果变红也不管，勾上它方便后续操作）。
  2. 下载 Git (代码下载工具)：
    • 访问 Git官网 下载安装，一路 Next 即可。
  3. 创建专属环境：
    • 按下 Win + R，输入 cmd 回车，打开黑色命令窗口。
  4. 安装 Pytorch (AI计算核心)：
    • 注意：这一步比较大，取决于网速，请耐心等待。

继续在刚才的黑框里输入：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

复制粘贴以下命令（一行一行执行）：

# 创建一个名为 llm 的环境，Python版本为 3.10 conda create -n llm python=3.10 -y # 激活这个环境（你会看到命令行前面变成 (llm)） conda activate llm

第二步：安装微调神器 LLaMA-Factory

LLaMA-Factory 是一个“大模型工厂”，它把复杂的代码都封装在网页里了。

安装依赖：

pip install -e .[metrics]

(如果报错提示缺少 windows C++ build tools，不用慌，去下载“Visual Studio Build Tools”安装即可，或者忽略报错通常也能跑起来)

下载代码：
在 cmd 黑框里输入：

git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory

第三步：准备模型

为了让你的笔记本不卡顿，我们选用 Qwen2.5-3B-Instruct，中文能力强，非常适合新手。

我们将直接利用 LLaMA-Factory 的 WebUI 来自动下载，所以这里不需要手动去网页下载。

第四步：准备微调数据

我们要教模型一点新知识。比如，我们要训练它认识你。

  1. 在 LLaMA-Factory 文件夹下，找到 data 文件夹。
  2. 新建一个文本文件，重命名为 my_data.json。
  3. 用记事本打开，复制以下内容进去（这是最标准的微调格式）：
[{"instruction":"你是谁？","input":"","output":"我是您专属的智能助手，由偉大的主人在Windows笔记本上微调出来的！"},{"instruction":"介绍一下你的创造者。","input":"","output":"我的创造者是一位非常勤奋的学习者，他正在通过微调技术赋予我新的生命。"},{"instruction":"你会做什么？","input":"","output":"我可以陪您聊天，回答问题，但我最擅长的是夸奖我的主人！"}]

你可以照着这个格式多写几条，数据越多，效果越明显。

注册数据：
在 data 文件夹里找到 dataset_info.json 文件，用记事本打开。在文件最开头的 { 下面，插入以下代码（注意逗号）：

"my_demo":{"file_name":"my_data.json"},

第五步：启动 WebUI 并测试

  1. 回到 cmd 黑框（确保前面是 (llm) 且路径在 LLaMA-Factory 下）。
  2. 稍等片刻，浏览器会自动弹出一个网页（通常是 http://localhost:7860）。

输入启动命令：

python src/webui.py
5.1 初次测试
在这里插入图片描述
  1. 在网页顶部 模型名称 (Model name) 选择 Qwen2.5-3B-Instruct。
  2. 模型路径 (Model path) 留空，或者选择 ModelScope（国内下载快）。
  3. 点击下面的 Chat (聊天) 选项卡。
  4. 点击 Load Model (加载模型)。它会自动开始下载模型，下载完后会显示“模型已加载”。
  5. 在下方聊天框输入：“你是谁？”
    • 由于还没微调，它会回答：“我是通义千问…”
  6. 点击 Unload Model (卸载模型)，我们要准备训练了。

第六步：开始微调

  1. 先在文件夹中执行这个命令用于下载核心的依赖 pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.44.1-py3-none-win_amd64.whl
  2. 切换回 Train (训练) 选项卡。
  3. 设置参数（按我说的选，其他不动）：
    • Data Dir (数据路径): data
    • Dataset (数据集): 找到并选中我们刚才加的 my_demo。
    • Learning Rate (学习率): 改为 2e-4 (0.0002)。
    • Epochs (轮数): 改为 10 (因为数据少，多训练几轮)。
    • Cutoff Len (截断长度): 1024 (笔记本显存小，设小点)。
    • Batch Size: 1 (笔记本专用配置)。
    • Gradient Accumulation: 8。
    • Finetuning Method: LoRA (这很重要，只训练模型的一小部分，省显存)。
    • **Quantization bit:**4（这是为了压缩显存的使用）。
  4. 开始训练：
    • 点击页面下方的 Start (开始) 按钮。
    • 你可以看 cmd 黑框里的进度条。因为数据只有几条，大概 2-5分钟 就能跑完。
    • 当显示“Training Completed”时，微调完成了！

第七步：测试微调后的模型

模型微调后，生成了一个“补丁包”（LoRA权重），我们需要把它挂载到原模型上运行。

  1. 刷新一下网页（或者切到 Chat 选项卡）。
  2. 模型选择： 依然选 Qwen2.5-3B-Instruct。
  3. 适配器路径 (Checkpoint path)： 点击下拉菜单，应该能看到你刚才训练的 models/my_first_model，选中它。
  4. 对话模板Chat template记得选择qwen，否则会因为方言不同无法停止
  5. 点击 Load Model (加载模型)。
  6. 在聊天框输入：“你是谁？”
  7. 见证奇迹：
    • 如果成功，它应该会回答：“我是您专属的智能助手，由偉大的主人在Windows笔记本上微调出来的！”

第八步：导出与部署（打包带走）

如果你想把这个微调好的模型合并成一个完整的模型文件，方便发给别人或在其他软件里用：

  1. 切换到 Export (导出) 选项卡。
  2. Max Shard Size: 填写 2GB。
  3. Export Dir (导出目录): 填写一个路径，例如 C:\MyFinalModel。
  4. 点击 Export (开始导出)。
  5. 导出完成后，C:\MyFinalModel 里的文件就是一个完整的、包含你个人知识的大模型了！

第九步：导入他人训练好的模型

第一步：解压

把你的压缩包，解压到一个全英文路径的文件夹里。

  • ❌ 错误示范：C:\用户\桌面\我的牛逼模型
  • ✅ 正确示范：D:\AI_Models\My_Finetuned_Qwen
第二步：打开 LLaMA Factory

启动 WebUI 界面。

第三步：加载你的“专属模型”（关键步骤）

这里有一点小技巧，因为你的模型是“自定义”的，不在它的下拉默认列表里。请按以下步骤操作（注意看界面上的选项）：

  1. 模型名称 (Model Name)：
    • 在下拉菜单里，选择 Custom（自定义）。
    • 注：有些旧版本可能需要选 Qwen2.5，然后在路径里修改，但选 Custom 最稳。
  2. 模型路径 (Model Path)：
    • 这是最重要的一步！
    • 在这个输入框里，把第一步解压的那个文件夹的绝对路径粘贴进去。
    • 例如粘贴：D:\AI_Models\My_Finetuned_Qwen
  3. 检查点路径 (Checkpoint Path)：
    • 留空！不要选任何东西！
    • 为什么？ 因为你已经把 LoRA 融合进模型导出了，现在的这个文件夹就是一个完整的基座模型，不需要再挂载额外的 LoRA 补丁了。
  4. 点击“加载模型” (Load Model)：
    • 如果右下角提示“模型加载成功”，那就搞定啦！
  5. 开始聊天：
    • 切换到 Chat 选项卡，你的朋友就可以和你训练出来的“专属 AI”对话了。

中途遇到问题的处理

一. 如果报错：Converting format of dataset (num_proc=16)以及BrokenPipeError: [WinError 109] 管道已结束。则代表是发现你的电脑比较强（可能有16个逻辑核心），于是它试图启动 16个分身（进程） 来同时处理你的数据，想以此加快速度。但在 Linux 系统上这很正常，而在 Windows 上，多进程并发处理数据非常容易“打架”，导致通信管道断裂（Broken Pipe），程序就崩了。
解决方法1：前端强制单线程处理
（某些版本不支持）
  1. 切换到 Train (训练) 选项卡。
  2. 在左侧的参数设置区域，找到 Extra Configuration (额外配置)，点击它旁边的小三角或者加号展开（如果不展开可能看不到）。
  3. 找到一个叫做 Preprocessing num workers (预处理线程数/进程数) 的选项。
  4. 默认它可能是空的，或者填了16。把它手动改成 1。
  5. 再次点击 Start (开始) 训练。
解决方法2：后端强制单线程处理
（部分情况下前端无法解决，就需要找到最终拦截点，直接改写配置）
  1. 打开文件：D:\AI\LLaMA-Factory\src\llamafactory\train\tuner.py（注意路径是 src -> llamafactory -> train -> tuner.py）
  2. 搜索这行长代码：model_args, data_args, training_args, finetuning_args, generating_args = get_train_args(args)
  3. 在这个下面添加下面这个代码data_args.preprocessing_num_workers = 1
  4. 保存文件并重启工具

总结

你刚才完成了大模型工程师的核心工作流程：

  1. 环境： Conda + LLaMA-Factory
  2. 数据： 构造 JSON 格式问答
  3. 训练： LoRA 微调
  4. 推理： 加载 LoRA 权重进行对话

Read more

要成为AI的主人，而不是被它所绑架

要成为AI的主人，而不是被它所绑架

这两年，AI 编码工具确实给开发效率带来了很大提升。写脚本更快了，补测试更轻松了，搭原型更顺手了，连很多文档工作都被大幅压缩。笔者自己在持续使用 GPT-5.4 和 Claude 一段时间后，也真切感受到了这种效率红利。与此同时，随着使用越来越深入，笔者也开始经常在架构师论坛和技术社区里，围绕 AI 开发的安全性、保密性、稳定性、可控性等问题，与多位大厂架构师持续交流。讨论得越多、实践得越久，我越认同一个判断：小项目、低敏项目、单人维护项目，AI 基本没有大问题；但一旦进入多人协作、长期演进、涉及核心资产和生产责任的项目，AI 如果没有边界、规范和审计，就很容易从“效率工具”变成“失控放大器”。 很多人讨论 AI，还停留在“能不能更快把功能做出来”这个层面。但架构师的关注点从来不只是“能不能开发出来”，而是“

2026年03月16日全球AI前沿动态

摘要 本文献汇总2026年3月15日AI技术核心动态，聚焦AI Agent（智能代理）、大语言模型（LLM）优化、多模态技术、工具链生态四大核心领域。其中AI Agent相关项目与技能占比超30%，LLM模型迭代聚焦长上下文、多模态融合与效率优化，多模态技术以音视频生成与理解为突破点，工具链围绕开发效率、安全可控构建生态。整体呈现“技术闭环加速、场景落地深化、安全合规凸显”的发展态势，大公司与开源社区双轮驱动，Agent化、模块化、多模态成为技术演进的核心锚点。 总结与洞察 核心主线是什么？ “工欲善其事，必先利其器”，本次技术汇总的核心主线是AI Agent的规模化落地与技术栈完善。从基础层的上下文数据库（如OpenViking）、高效模型（如Qwen3.5系列、NVIDIA Nemotron-3 Super），到工具层的浏览器自动化（Lightpanda）、后端开发平台（InsForge），再到应用层的群体智能预测（MiroFish）、代码生成（OmniCoder-9B），形成了“模型-工具-场景”
云边端一体化解析：什么是云边端，为何能成为AI基础设施核心

云边端一体化解析：什么是云边端，为何能成为AI基础设施核心

云边端一体化解析：什么是云边端，为何能成为AI基础设施核心 📚 本章学习目标：深入理解什么是云边端，为何能成为AI基础设施核心的核心概念与实践方法，掌握关键技术要点，了解实际应用场景与最佳实践。本文属于《云原生、云边端一体化与算力基建：AI时代基础设施革命教程》云原生入门篇（第一阶段）。 在上一章，我们学习了"云原生入门：新手必懂的云原生核心定义与核心价值"。本章，我们将深入探讨什么是云边端，为何能成为AI基础设施核心，这是云原生与AI基础设施学习中非常重要的一环。 一、核心概念与背景 1.1 什么是什么是云边端，为何能成为AI基础设施核心 💡 基本定义： 什么是云边端，为何能成为AI基础设施核心是云原生与AI基础设施领域的核心知识点之一。掌握这项技能对于提升云原生架构设计能力和AI应用落地效果至关重要。 # 云原生基础命令示例# Docker容器操作docker run -d--name myapp nginx:latest dockerpsdocker logs myapp # Kubernetes基础操作 kubectl get pods -n default
人工智能：自然语言处理在金融领域的应用与实战

人工智能：自然语言处理在金融领域的应用与实战

人工智能：自然语言处理在金融领域的应用与实战 学习目标 💡 理解自然语言处理（NLP）在金融领域的应用场景和重要性 💡 掌握金融领域NLP应用的核心技术（如文本分类、情感分析、风险评估） 💡 学会使用前沿模型（如BERT、GPT-3）进行金融文本分析 💡 理解金融领域的特殊挑战（如金融术语、数据噪声、实时性要求高） 💡 通过实战项目，开发一个金融风险评估应用 重点内容 * 金融领域NLP应用的主要场景 * 核心技术（文本分类、情感分析、风险评估） * 前沿模型（BERT、GPT-3）在金融领域的使用 * 金融领域的特殊挑战 * 实战项目：金融风险评估应用开发 一、金融领域NLP应用的主要场景 1.1 文本分类 1.1.1 文本分类的基本概念 文本分类是对金融文本进行分类的过程。在金融领域，文本分类的主要应用场景包括： * 新闻分类：对金融新闻进行分类（如“股票新闻”、“债券新闻”