介绍微调后大语言模型的评估方法，涵盖指标选择、测试集构建及 LLaMA-Factory 实操。重点包括基础能力保留度、目标任务提升度及资源消耗变化三个维度。通过 MMLU、C-Eval 等基准验证通用能力，结合 BLEU、ROUGE 等指标评估生成质量。文章提供显存优化、结果波动处理等常见问题解决方案，强调评估应贯穿模型开发生命周期。
微调大语言模型后，核心问题在于如何科学评估其性能及与原始模型的差异。本文将从评估指标选择、测试集构建到实操演示，系统介绍模型评估方法。
此类任务通常需要 GPU 环境支持，可使用 Llama-Factory 等工具进行快速部署验证。下面将从评估指标选择、测试集构建到实操演示，带你系统掌握模型评估方法。
微调后的模型性能评估不同于普通模型测试，我们需要关注三个核心维度：
传统准确率、F1 值等单一指标往往无法全面反映微调效果。以对话模型为例，可能出现：
根据你的微调目标选择专业评估指标：
# 文本分类任务常用指标
from sklearn.metrics import classification_report
print(classification_report(y_true, y_pred))
# 生成任务常用指标
import evaluate
bleu = evaluate.load("bleu")
rouge = evaluate.load("rouge")
常见指标对照表：
| 任务类型 | 推荐指标 | 说明 |
|---|---|---|
| 文本分类 | Accuracy/F1/ROC-AUC | 多分类需用 macro 平均 |
| 序列标注 | Entity-level F1 | 需区分实体类型 |
| 文本生成 | BLEU/ROUGE/BERTScore | 人工评估仍不可替代 |
| 对话系统 | Coherence/Engagement/Relevance | 建议结合人工评分 |
使用标准测试集验证基础能力保留情况：
# 使用 LLaMA-Factory 运行标准评估
python src/evaluate.py \
--model_name_or_path your_finetuned_model \
--eval_dataset mmlu \
--batch_size 8
微调后需监控的关键工程指标：
提示：在评估显存占用时，建议使用不同长度的输入文本进行压力测试，因为显存消耗与序列长度呈平方关系。
好的测试集应包含：
# 测试集拆分示例
from sklearn.model_selection import train_test_split
# 保留 10% 作为人工验证集
train_val, test_human = train_test_split(data, test_size=0.1, random_state=42)
# 剩余 90% 再拆分
train, eval = train_test_split(train_val, test_size=0.2, random_state=42)
# 安装评估依赖
pip install -r requirements_eval.txt
# 运行综合评估
python src/evaluate.py \
--model_name_or_path ./finetuned_model \
--tasks mmlu,ceval,race \
--batch_size 4 \
--load_in_4bit \
--output_dir ./eval_results
关键参数说明：
--tasks：指定评估任务列表--load_in_4bit：4bit 量化评估节省显存--batch_size：根据显存调整创建自定义评估脚本：
# custom_eval.py
from datasets import load_dataset
from transformers import pipeline
# 加载微调模型
pipe = pipeline("text-generation", model="your_finetuned_model")
# 加载测试集
dataset = load_dataset("your_dataset")["test"]
def evaluate_sample(example):
output = pipe(example["prompt"])
return {
"bleu": calculate_bleu(example["reference"], output),
"accuracy": check_fact(output)
}
results = dataset.map(evaluate_sample)
print(results["bleu"].mean(), results["accuracy"].mean())
使用 pandas 分析评估结果：
import pandas as pd
import matplotlib.pyplot as plt
df = pd.read_json("eval_results/all_results.json")
# 绘制指标对比图
df[["task", "accuracy"]].plot.bar(x="task")
plt.title("Accuracy Across Tasks")
plt.savefig("accuracy_comparison.png")
解决方案：
python src/evaluate.py \
--load_in_4bit \
--batch_size 2 \
--gradient_checkpointing
可能原因：
应对措施：
import torch
import numpy as np
import random
def set_seed(seed):
torch.manual_seed(seed)
np.random.seed(seed)
random.seed(seed)
处理方案：
# 自定义业务指标示例
def business_metric(output, reference):
key_points = extract_key_points(reference)
covered = 0
for point in key_points:
if point in output:
covered += 1
return covered / len(key_points)
通过本文介绍的系统评估方法，你现在应该能够：
建议下一步尝试：
记住，模型评估不是一次性的工作，而应该贯穿整个模型开发生命周期。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online