Llama-Factory 模型评估系统：科学衡量微调后性能变化
在大语言模型（LLM）日益渗透到各行各业的今天，一个现实问题摆在开发者面前：我们花了大量时间微调了一个模型，它真的变好了吗？是整体提升，还是只在某些特定任务上略有改善？更关键的是——这种'变好'能不能被量化、被复现、被团队其他人理解？
传统做法往往依赖人工抽查几条输出结果，或者用单一准确率指标草草了事。这种方式不仅主观性强，还容易忽略模型在生成连贯性、事实一致性或领域专业性上的细微退化。随着 LoRA、QLoRA 等高效微调技术的普及，越来越多中小团队也能参与大模型定制，但'如何科学评估效果'反而成了新的瓶颈。
正是在这样的背景下，Llama-Factory 的模型评估系统展现出独特价值。它不只是一套脚本工具，而是一个贯穿训练闭环的核心反馈机制，让每一次微调都变得可度量、可比较、可决策。
Llama-Factory 之所以能在众多微调框架中脱颖而出，很大程度上得益于其对'评估优先'理念的坚持。这个系统并非事后补上的评测模块，而是从设计之初就作为整个流水线的关键验证节点存在。它的核心目标很明确：回答三个问题——模型有没有变好？好在哪里？值得部署吗？
为实现这一点，该系统构建了一套标准化、自动化、多维度的性能度量体系。无论是使用全参数微调、LoRA 还是 QLoRA，都可以在同一测试集和统一接口下进行横向对比。更重要的是，它支持超过 100 种主流模型架构（如 LLaMA、Qwen、Baichuan、ChatGLM 等），真正实现了跨模型、跨方法的公平评估。
你不再需要为不同模型写不同的推理代码，也不必手动计算 BLEU 或 ROUGE 分数。只需配置几个参数，剩下的工作——从加载模型、预处理数据、执行批量推理到生成可视化报告——全部由系统自动完成。
from llmtuner import EvalArguments, run_eval
eval_args = EvalArguments(
model_name_or_path="meta-llama/Llama-2-7b-hf",
adapter_name_or_path="outputs/lora-qlora-ft",
task_type="causal_lm",
dataset="cmmlu",
dataset_dir="data/cmmlu",
template="llama2",
batch_size=8,
metrics=["acc"],
output_dir="results/eval_llama2_7b_cmmlu"
)
run_eval(eval_args)
这段代码看似简单，背后却隐藏着强大的工程抽象能力。model_name_or_path 和 adapter_name_or_path 的分离设计，使得系统能自动识别基础模型与适配器权重，并在运行时动态合并。这意味着你可以轻松对比同一个基座模型下不同微调策略的效果差异。
而 dataset="cmmlu" 这一行更是点睛之笔。CMMLU 是专为中文场景设计的综合性知识测评集，涵盖人文、社科、理工等多个学科。Llama-Factory 内置了包括 CMMLU、CEval、MMLU 在内的多个权威基准，极大降低了高质量测试集获取门槛，尤其对中文应用开发者极为友好。
当然，评估的有效性不仅取决于工具本身，更在于底层微调技术是否足够轻量和可控。如果一次微调动辄消耗上百 GB 显存、耗时数天，那频繁迭代 + 反复评估就成了奢望。这也是为什么 LoRA 和 QLoRA 成为 Llama-Factory 默认推荐方案的重要原因。
LoRA 的核心思想非常优雅：我们不直接修改庞大的原始权重矩阵，而是在注意力层中注入低秩更新结构。假设原始投影矩阵 $W \in \mathbb{R}^{m \times n}$，常规梯度更新会直接影响全部参数；而 LoRA 则将其变化近似为两个小矩阵的乘积：
$$ \Delta W = A \cdot B, \quad A \in \mathbb{R}^{m \times r}, B \in \mathbb{R}^{r \times n}, \quad r \ll \min(m,n) $$
其中秩 $r$ 通常设为 8~64，意味着新增参数仅为原模型的 0.1%~1%。以 LLaMA-2-7B 为例，仅需约 400 万额外参数即可完成有效适配。这些可训练参数集中在 q_proj 和 v_proj 等关键模块，既能捕捉任务特异性特征，又避免破坏通用语义能力。
