专利基本信息
| 申请号 | CN202410053849.9 |
|---|---|
| 公开号（公开） | CN118134841A |
| 申请日 | 2024.01.12 |
| 申请人（公开） | 超音速人工智能科技股份有限公司 (833753) |
| 发明人（公开） | 张俊峰（总); 叶长春 (总); 廖绍伟 |
专利摘要
本发明公开一种光伏产品缺陷检测 AI 深度学习算法，涉及 AI 算法领域。该算法采用深度卷积神经网络作为预训练模型，使用特征金字塔网络结构 FPN 对预训练模型得到的不同尺度的特征图进行融合，采用区域提议网络 RPN 在特征图上生成候选框。通过使用预训练模型提取图像特征，使用 FPN 融合多尺度特征，使用 RPN 提取候选框，使用 ROIAlign 抽取局部特征，使用分类、回归、FCN 进行缺陷分类、位置回归以及掩膜信息提取，对缺陷的分类以及输出缺陷效果的准确性好，对缺陷的定位精度高，对缺陷的描述准确且全面，从而提高了在光伏产品加工中，对产品的缺陷检测效果。
术语定义
FCN（全卷积网络）：是深度学习中用于图像处理任务的一种重要架构。相比于传统的卷积神经网络 CNN，FCN 不仅能够识别图像中的对象，还能在像素级别对图像进行预测，如图像分割、图像生成等。全卷积网络是一种由卷积层组成的神经网络架构，没有全连接层。其主要特点在于它的输出层是一个像素级别的密集特征图，每个像素点都对应输入图像中的一个局部感受野，这使得 FCN 能够对输入图像进行像素级别的预测和分析，比如图像分割，将图像中的每个像素进行分类，标记其所属的语义类别。全卷积网络的出现在计算机视觉领域不仅在图像分割任务上取得了显著的成果，而且为其他图像处理任务，如图像生成、图像修复等，提供了重要的基础。
算法流程
- 特征提取：采用深度卷积神经网络作为预训练模型，对输入的光伏产品图像进行特征提取，获取图像的高层语义信息，得到不同尺度的特征图。
- 特征融合：使用特征金字塔网络结构 FPN 对预训练模型得到的不同尺度的特征图进行融合，增强模型对不同尺寸产品缺陷的检测能力。利用低层特征图的空间信息和高层特征图的语义信息进行融合。
- 候选框生成：采用区域提议网络 RPN 在特征图上生成候选框，这些候选框涵盖了存在缺陷的区域和信息，以实现后续产品的缺陷快速检测。RPN 网络得到所有 anchors 的分类、回归信息。
- 局部特征抽取：使用 ROIAlign 技术从候选框中抽取出局部特征，以供后续的分类和回归任务使用。根据 RPN 网络输出的分类、回归信息，经过 NMS 得到最终的 ROIs。
- 缺陷分类与定位：利用全卷积网络 FCN 对局部特征进行分类，并同时进行回归操作以精确定位缺陷的位置。对筛选出来的 ROIs 进行分类、回归、mask 分割操作，使用分类器对候选框进行缺陷分类。
- 掩膜提取：除了分类和位置回归外，还利用 FCN 从局部特征中提取掩膜信息，以得到缺陷的精确形状和大小。通过位置回归，根据分类结果和候选框的位置信息，对缺陷的位置进行进一步的调整和修正，同时，根据 FCN 得到的掩膜信息，进一步提取缺陷信息。
总结
该光伏产品缺陷检测 AI 深度学习算法，通过使用预训练模型提取图像特征，使用 FPN 融合多尺度特征，使用 RPN 提取候选框，使用 ROIAlign 抽取局部特征，使用分类、回归、FCN 进行缺陷分类、位置回归以及掩膜信息提取，对缺陷的分类以及输出缺陷效果的准确性好，对缺陷的定位精度高，对缺陷的描述准确且全面，从而提高了在光伏产品加工中，对产品的缺陷检测效果。
硬件需求
工控机 + 显卡
测试环境
- 操作系统：Win7 / Win10
- 开发环境：VS2019 / VS2022
- 语言标准：C++17
如无特殊说明，本算法用 C++ 实现。
