【超音速专利 CN118134841A】一种光伏产品缺陷检测AI深度学习算法
| 申请号 | CN202410053849.9 |
| 公开号（公开） | CN118134841A |
| 申请日 | 2024.01.12 |
| 申请人（公开） | 超音速人工智能科技股份有限公司(833753) |
| 发明人（公开） | 张俊峰（总); 叶长春(总); 廖绍伟 |
原文摘要
本发明公开一种光伏产品缺陷检测AI深度学习算法，涉及AI算法领域。该光伏产品缺陷检测AI深度学习算法，采用深度卷积神经网络作为预训练模型，使用特征金字塔网络结构FPN对预训练模型得到的不同尺度的特征图进行融合，采用区域提议网络RPN在特征图上生成候选框，该光伏产品缺陷检测AI深度学习算法通过使用预训练模型提取图像特征，使用FPN融合多尺度特征，使用RPN提取候选框，使用ROIAlign抽取局部特征，使用分类、回归、FCN进行缺陷分类、位置回归以及掩膜信息提取，对缺陷的分类以及输出缺陷效果的准确性好，对缺陷的定位精度高，对缺陷的描述准确且全面，从而提高了在光伏产品加工中，对产品的缺陷检测效果。
术语
FCN指的是全卷积网络，是深度学习中用于图像处理任务的一种重要架构，相比于传统的卷积神经网络CNN，FCN不仅能够识别图像中的对象，还能在像素级别对图像进行预测，如图像分割、图像生成等。
全卷积网络是一种由卷积层组成的神经网络架构，没有全连接层。相比于传统的CNN，全卷积网络的主要特点在于它的输出层是一个像素级别的密集特征图，每个像素点都对应输入图像中的一个局部感受野，这使得FCN能够对输入图像进行像素级别的预测和分析，比如图像分割，将图像中的每个像素进行分类，标记其所属的语义类别。
全卷积网络的出现在计算机视觉领域不仅在图像分割任务上取得了显著的成果，而且为其他图像处理任务，如图像生成、图像修复等，提供了重要的基础。全卷积网络在计算机视觉领域具有广泛的适用性。
步骤
1.一种光伏产品缺陷检测AI深度学习算法：所述深度学习算法包括如下步骤：
第一步：采用深度卷积神经网络作为预训练模型，对输入的光伏产品图像进行特征提取，获取图像的高层语义信息，得到不同尺度的特征图；
第二步：使用特征金字塔网络结构FPN对预训练模型得到的不同尺度的特征图进行融合，增强模型对不同尺寸产品缺陷的检测能力；
第三步：采用区域提议网络RPN在特征图上生成候选框，这些候选框涵盖了存在缺陷的区域和信息，以实现后续产品的缺陷快速检测；
第四步：使用ROIAlign技术从候选框中抽取出局部特征，以供后续的分类和回归任务使用；
第五步：利用全卷积网络FCN对局部特征进行分类，并同时进行回归操作以精确定位缺陷的位置；
第六步：除了分类和位置回归外，还利用FCN从局部特征中提取掩膜信息，以得到缺陷的精确形状和大小。
2：在第一步中，首先选择适用于光伏产品缺陷检测任务的预训练模型，然后，将预训练模型导入到算法中，并将待检测的光伏产品缺陷图像输入到模型中。
3.在第二步中，利用特征金字塔网络融合来自不同尺度的特征图，同时利用低层特征图的空间信息和高层特征图的语义信息，将这些特征图进行融合。
4.在第三步中，使用区域生成网络来提取候选框，RPN网络得到所有anchors的分类、回归信息，RPN基于特征图。
5.在第四步中，使用ROIAlign操作来抽取候选框内的局部特征，根据RPN网络输出的分类、回归信息，经过NMS得到最终的ROIs。
6.第五步中，对筛选出来的ROIs进行分类、回归、mask分割操作，使用分类器对候选框进行缺陷分类。
7.第六步中：分类器是传统的机器学习方法。
8.第七步中：分类器是深度学习方法。
9.在第六步，通过位置回归，根据分类结果和候选框的位置信息，对缺陷的位置进行进一步的调整和修正，同时，根据FCN得到的掩膜信息，进一步提取缺陷信息。
总结
该光伏产品缺陷检测AI深度学习算法，通过使用预训练模型提取图像特征，使用FPN融合多尺度特征，使用RPN提取候选框，使用ROIAlign抽取局部特征，使用分类、回归、FCN进行缺陷分类、位置回归以及掩膜信息提取，对缺陷的分类以及输出缺陷效果的准确性好，对缺陷的定位精度高，对缺陷的描述准确且全面，从而提高了在光伏产品加工中，对产品的缺陷检测效果。
硬件需求
工控机+显卡
扩展阅读
| 我想对大家说的话 |
|---|
| 工作中遇到的问题，可以按类别查阅鄙人的算法文章，请点击《算法与数据汇总》。 |
| 学习算法：按章节学习《喜缺全书算法册》，大量的题目和测试用例，打包下载。重视操作 |
| 有效学习：明确的目标 及时的反馈 拉伸区（难度合适） 专注 |
| 员工说：技术至上，老板不信；投资人的代表说：技术至上，老板会信。 |
| 闻缺陷则喜(喜缺)是一个美好的愿望，早发现问题，早修改问题，给老板节约钱。 |
| 子墨子言之：事无终始，无务多业。也就是我们常说的专业的人做专业的事。 |
| 如果程序是一条龙，那算法就是他的是睛 |
| 失败+反思=成功 成功+反思=成功 |
视频课程
先学简单的课程，请移步ZEEKLOG学院，听白银讲师（也就是鄙人）的讲解。
https://edu.ZEEKLOG.net/course/detail/38771
如何你想快速形成战斗了，为老板分忧，请学习C#入职培训、C++入职培训等课程
https://edu.ZEEKLOG.net/lecturer/6176
测试环境
操作系统：win7 开发环境： VS2019 C++17
或者 操作系统：win10 开发环境： VS2022 C++17
如无特殊说明，本算法用**C++**实现。
