基于深度学习的无人机航拍小目标检测算法研究

本项目针对无人机航拍场景下的小目标检测问题，基于 YOLO11 系列模型，在 VisDrone 2019 数据集上进行训练与优化，并提供了完整的检测系统桌面应用，支持图片、视频、摄像头的实时检测与训练指标可视化。

一、项目概述

无人机航拍图像具有目标尺度小、密集分布、多尺度混合等特点，传统检测算法难以取得理想效果。本项目采用 Ultralytics YOLO11 框架，结合 VisDrone 数据集进行训练，实现了对行人、车辆等 10 类交通相关目标的高效检测，并配套开发了基于 PyQt6 的桌面应用，便于模型验证与日常使用。

二、数据集

2.1 数据集简介

本项目使用 VisDrone 2019-DET 数据集，由天津大学机器学习与数据挖掘实验室 AISKYEYE 团队发布，对应 ICCV 2019 "Vision Meets Drone" 挑战赛，是面向无人机视角目标检测的大规模基准数据集。

2.2 数据规模

• 总标注框数量：超过 260 万个边界框
• 图像来源：288 个视频片段 + 10,209 张静态图像
• 图像格式：JPEG (.jpg)

2.3 目标类别

数据集包含 10 个预定义类别：

2.4 数据集特点

• 地理位置：中国 14 个不同城市，相距数千公里
• 场景类型：城市、乡村等多种环境
• 小目标特性：无人机航拍高度较高，目标在图像中占据像素较少，大量目标归一化后宽度或高度小于 2%
• 密集分布：交通路口、人行道等场景中目标密集，遮挡严重
• 多尺度混合：同一张图像中存在近大远小现象

2.5 目录结构

dataset_visdrone/ ├── data.yaml # YOLO 数据集配置文件 ├── data_local.yaml # 自动生成，含本机绝对路径 ├── 数据集介绍.md # 数据集说明文档 ├── VisDrone2019-DET-train/ │ ├── images/ # 训练图像 │ └── labels/ # YOLO 格式标签 (.txt) ├── VisDrone2019-DET-val/ │ ├── images/ │ └── labels/ └── VisDrone2019-DET-test-dev/ ├── images/ └── labels/ 

2.6 标注格式

采用 YOLO 标准格式，每行一个目标：<class_id> <x_center> <y_center> <width> <height>，坐标均为归一化值 [0, 1]。

三、训练过程

3.1 训练脚本

训练脚本为项目根目录下的 train_yolo11.py，支持三种运行模式：

• train：训练模式（默认）
• val：验证模式，需指定权重路径
• predict：推理模式，需指定权重与输入路径

3.2 基本流程

1. 检查 dataset_visdrone/data.yaml 是否存在
2. 调用 fix_data_yaml() 自动生成 data_local.yaml（含本机绝对路径）
3. 加载 YOLO 预训练模型
4. 调用 Ultralytics 训练流程进行训练
5. 结果保存在 runs/train/<实验名称>/ 或 --project 指定目录

3.3 使用示例

python train_yolo11.py # 默认配置训练 python train_yolo11.py --model yolo11m # 指定模型大小 python train_yolo11.py --epochs 200 # 指定训练轮数 python train_yolo11.py --imgsz 1280 # 更大分辨率（小目标更佳） python train_yolo11.py --multi_scale # 开启多尺度训练 python train_yolo11.py --mode val --weights runs/train/exp/weights/best.pt python train_yolo11.py --mode predict --weights runs/train/exp/weights/best.pt --source path/to/image 

3.4 训练注意事项

• 图像尺寸建议 ≥ 640，推荐 1280（小目标分辨率更高）
• batch 建议 16–32（显存不足时降低）
• epochs 建议 200–300（VisDrone 收敛较慢）
• 默认开启 mosaic 数据增强，最后 10 个 epoch 关闭以稳定收敛
• 可使用 --multi_scale 多尺度训练提升小目标性能

四、训练参数

4.1 主要训练参数

4.2 模型与优化器

• 优化器：SGD
• 损失权重：box=7.5, cls=0.5, dfl=1.5
• 数据增强：mosaic=1.0, randaugment, erasing=0.4, close_mosaic=10

4.3 检测参数（应用配置）

五、可视化图含义

训练完成后，Ultralytics 会在实验目录下生成以下可视化文件，用于分析模型表现：

5.1 训练过程图表

5.2 标签与类别分析

5.3 评估指标曲线

5.4 results.csv 主要列说明

epoch、time、train/box_loss、train/cls_loss、train/dfl_loss、metrics/precision(B)、metrics/recall(B)、metrics/mAP50(B)、metrics/mAP50-95(B)、val/box_loss、val/cls_loss、val/dfl_loss、lr/pg0、lr/pg1、lr/pg2

六、系统功能

本项目提供基于 PyQt6 的桌面应用 「无人机航拍小目标检测系统」，主要功能如下：

6.1 功能模块

6.2 入口与流程

• 入口：detection_app/main.py，启动后进入登录窗口
• 默认账号：admin / admin123
• 检测流程：通过 utils/detector.py 中的 ImageDetectWorker、VideoDetectWorker、CameraDetectWorker 调用 Ultralytics YOLO 进行推理

6.3 配置与存储

• config.json：模型路径、指标目录、检测参数等
• data/users.json：用户信息
• data/history.json：检测历史记录

七、项目技术栈

依赖包（detection_app/requirements.txt）

PyQt6>=6.4.0 ultralytics>=8.0.0 opencv-python>=4.7.0 Pillow>=9.0.0 matplotlib>=3.7.0 numpy>=1.23.0 pandas>=1.5.0 

训练脚本还需：pyyaml

八、项目结构

c124/ ├── train_yolo11.py # YOLO11 训练脚本 ├── README.md # 项目说明文档 │ ├── dataset_visdrone/ # 数据集目录 │ ├── data.yaml # 数据集配置 │ ├── data_local.yaml # 自动生成（本机路径） │ ├── 数据集介绍.md # 数据集说明 │ ├── VisDrone2019-DET-train/ │ ├── VisDrone2019-DET-val/ │ └── VisDrone2019-DET-test-dev/ │ ├── detection_app/ # 检测系统应用 │ ├── main.py # 应用入口 │ ├── login_window.py # 登录窗口 │ ├── main_window.py # 主窗口 │ ├── config.json # 应用配置 │ ├── requirements.txt # 依赖列表 │ ├── data/ │ │ ├── users.json # 用户数据 │ │ └── history.json # 检测历史 │ ├── pages/ │ │ ├── image_page.py # 图片识别页 │ │ ├── video_page.py # 视频识别页 │ │ ├── camera_page.py # 摄像头识别页 │ │ ├── history_page.py # 检测历史页 │ │ ├── model_page.py # 模型管理页 │ │ └── metrics_page.py # 指标展示页 │ └── utils/ │ ├── detector.py # 检测逻辑 │ ├── storage.py # 配置与存储 │ └── styles.py # 界面样式 │ ├── 训练文件1/ # 训练输出示例 │ └── exp-yolo11s-EMBSFPN-TADDH-C3K2_PMSFA/ │ ├── args.yaml # 训练参数快照 │ ├── results.csv # 训练指标 │ ├── results.png # 训练曲线 │ ├── weights/ │ │ ├── best.pt # 最佳权重 │ │ └── last.pt # 最后一轮权重 │ └── 其他可视化图表... │ └── runs/ # 训练输出目录（默认） └── detect/runs/train/yolo11_visdrone/ 

九、参考文献

如在论文中使用 VisDrone 数据集，建议引用：

@article{zhu2021detection, title={Detection and tracking meet drones challenge}, author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin}, journal={IEEE Transactions on Pattern Analysis and Machine Intelligence}, volume={44}, number={11}, pages={7380--7399}, year={2021}, publisher={IEEE} } 

十、相关链接

• VisDrone 数据集官网：https://aiskyeye.com/
• VisDrone GitHub：https://github.com/VisDrone/VisDrone-Dataset
• ICCV 2019 挑战赛：Vision Meets Drone Object Detection in Image Challenge