使用 LLaMA-Factory 训练 Qwen2.5-VL 进行目标检测

使用 LLaMA-Factory 训练 Qwen2.5-VL 进行目标检测

虽然 YOLO 在目标检测落地性上较强，但大模型也在快速发展。本文尝试使用 Qwen2.5-VL 配合 LLaMA-Factory 完成目标检测的微调训练。

一、LLaMA-Factory 环境部署

参考官方文档或相关教程完成 LLaMA-Factory 的环境安装与配置。确保虚拟环境中已安装必要的依赖包。

二、配置文件介绍

LLaMA-Factory 的训练命令通常基于 YAML 配置文件。主要关注以下参数：

• model: 模型选择与路径
• method: 训练方式（如 SFT）
• dataset: 数据集配置
• output: 输出目录
• train: 训练超参数

1. 模型设置

在配置文件中设置 model_name_or_path。建议将路径设置为本地已下载的模型绝对路径，以避免网络下载不稳定。

2. 数据集配置

需要配置 data/mllm_demo.json 和 data/dataset_info.json。变量命名需保持一致，例如 messages 和 images 列名映射。 示例配置片段：

{
  "mllm_demo": {
    "file_name": "mllm_demo.json",
    "formatting": "sharegpt",
    "columns": {"messages": "messages", "images": "images"},
    "tags": {"role_tag": "role", "content_tag":