【机情无限 精彩毕设】机械2026届毕业设计（论文）中期检查优秀案例分享第十三期——基于机器视觉的汽车轮毂螺栓定位与识别系统研究

学生姓名：张晨曦

班    级：车辆2022-05班

指导教师：黄海波

毕设题目：基于机器视觉的汽车轮毂螺栓定位与识别系统研究

一、概况

1.选题意义

（1）路侧感知场景中，车辆轮毂螺栓属于重要的紧固件，缺少或者断裂会造成严重的交通事故。因此，对螺栓分布状态及完整性进行自动化监测，对智能交通系统和道路安全管理有重要的工程意义。传统的螺栓视觉检测方法大多依靠人工设计的图像处理算子，在动态光照、复杂背景、大视角透视变形等非结构化环境下，性能不稳定。近几年来，以YOLO系列为代表的深度学习方法在目标检测任务上取得了很大进展，但是现有的深度学习方法在路侧全景螺栓识别上还存在许多困难，①螺栓在全景图像中所占像素比例小，经过多层卷积下采样后容易造成特征信息丢失；②泥渍、轮胎花纹等高频纹理与螺栓外观相似，容易造成误检；③直接对高分辨率图像进行精细特征提取会带来较大的内存开销和推理时延，不能满足边缘计算场景的实时性要求。本文在对比传统方法和深度学习模型的基础上，提出了一种包含算法设计和图形界面实现轮毂螺栓监测的方法，以提高复杂环境下微小目标的检测精度和系统稳定性。

2.任务分解

（1）熟悉题目，收集资料，调研车路协同背景下路侧感知技术的研究现状以及国内外基于机器视觉的螺栓检测与定位识别的研究现状。

（2）熟悉题目，收集资料，调研车路协同背景下路侧感知技术的研究现状以及国内外基于机器视觉的螺栓检测与定位识别的研究现状

（3）基于OpenCV的传统图像处理算法研究

基于OpenCV库开发近景下的轮毂螺栓检测算法。完成图像预处理、特征提取及状态判别，旨在为后续使用深度学习实现目标检测提供基线对比。

（4）基于YOLOv8的级联检测算法设计与实现

搭建YOLOv8模型训练环境，分别训练“车辆-轮毂”定位模型与“轮毂-螺栓”识别模型。设计级联推理逻辑，实现从宏观目标定位到微观部件识别的跨尺度检测，重点解决小目标检测与定位映射问题。

（5）基于YOLOv8的检测结果可视化交互界面设计，实现图像加载，自动检测以及结果的可视化标注等功能。

（6）整理实验数据与可视化结果，撰写毕业设计论文，完成答辩准备。

二、已完成工作

1. 基于 OpenCV 的传统图像处理基线研究

图 1 处理流程

a) 预处理+特征提取：

图 2 预处理+特征提取流程

b) 霍夫变换+RANSAC筛选：

  筛选圆心在同一圆周上分布、具有全局几何一致性的螺栓群组。

图 3 RANSAC 螺栓群筛选逻辑

图 4 RANSAC 筛选前后对比图

图 5 RANSAC 筛选结果图

c) 基于roi的多特征融合判别：

图 6 判别流程图

  初步实验数据显示，在只用亮度和边缘密度特征来分类的时候，如下左图所示：容易把断裂螺栓根部、残余螺柱等错误地当成正常的螺栓。因此这里引入二值化填充率指标，只有BFR大于给定阈值才会判定为正常螺栓。

图 7 BFR筛选前后对比图

2. 基于YOLOv8的轮毂螺栓图像识别方法

图 8 一级模型结果图

图 9 二级模型结果图

图 10 级联检测推理图

3. 基于PyQt的UI界面开发

    检测流程：

图 11 推理流程展示

图 12 推理结果展示

三、下一步工作计划

目前，已按计划完成了传统图像处理算法的开发以及基于YOLOv8m模型的一阶段训练工作。但是一级检测精度尚未达到95%的训练预期：在利用COCO数据集初始预训练权重对一级数据集（车辆及轮毂定位）进行100个周期的调优后，实验结果显示模型在IoU=0.5下的平均准确率（mAP@0.5）为91.6%。存在一定的漏检风险。

  分析发现，现有的性能瓶颈源于初始权重源自COCO通用数据集。COCO数据集涵盖的目标种类繁多，其学到的特征空间对于汽车轮毂这种尺度相对较小且环境对比度多变的特定零部件缺乏针对性的特征表达能力。这导致模型在训练后期进入平台期，难以通过增加Epoch数量实现精度的进一步突破。实验尝试将Epoch数量上调至200，精度仅仅提升1.3%,仍未达到95%的预期。

针对中期检查中发现的问题，后续工作将按照以下计划有序开展：

  1. 实施基于权重迭代的分阶段迁移学习（Refine策略）。

2. 对两次实验开展性能评估

问题一：传统算法在此应用场景中的局限性是什么

回答：虽然传统技术在一些情况下有很好的效果，在道路侧方复杂的非结构化环境里使用时，它所遇到的限制仍然很多，其中最明显的就是对于环境的变化不能及时做出反应。

目前主流的检测方法都存在着明显的不足，其中固定的阈值法对于复杂的光照环境适应性比较差。用Canny算子做边缘提取的过程中，霍夫变换累加器的阈值以及预设不变量参数都是固定的，在强逆光环境下容易造成图像过曝，从而造成螺栓轮廓细节的丢失；夜间低照度情况下，螺栓边缘信号强度变小，并且会受到背景噪声的影响，出现较多的漏检和误判。传统算法对于外部环境的变化鲁棒性差。由于道路两侧的车辆轮毂容易受到污渍的影响，并且会因为局部遮挡或者损伤等原因出现轮毂边缘特征不完整的情况，所以传统的霍夫变换基于封闭圆周的假设，对于非连续线段的检测存在一定的困难。对于多视场成像造成的几何变形问题，现有的技术并没有形成有效的处理方式。根据理想的圆形模型所建立的目标定位框架，在透视畸变情况下不能很好地模拟出椭球形貌的真实情况，进而使系统的精度和抗干扰性受到严重影响。

传统的图像处理技术依靠人工设定的特征参数，解析效率高、运算量小，但是它的泛化能力已经逐渐被暴露出来。在复杂的光照条件和背景干扰的环境中，该种方法不能达到期望的效果。为了解决上面的问题，以后的研究应该致力于创建出可以自主完成特征提取、提高抗噪能力的深度神经网络模型，从而大幅度提高微弱目标全天候检测任务的准确度和稳定性。

问题二：为什么要训练两个模型

回答：在目标螺栓的位置上画上绿色的边框。如果仅使用YOLOv8网络单独对远距离拍摄的道路上螺栓进行检测，那么就会出现较多的漏检情况。从根源上讲，单阶段检测框架对于像素占比极小的螺栓这类小尺寸目标来说存在不足，在多层卷积提取特征的时候容易造成信息的丢失或者退化，两个模型的YOLOv8分别独立地训练之后，再用两者的输出结果相结合，形成一种层次联系的联合检测体系。

初定毕设题目时，我一度无从下手，但在指导老师的帮助下，明确了具体工作内容与时间规划，原本模糊的方向逐渐清晰。从最初的茫然无措，到如今能熟练推进工作，这对我而言是极大的成长。目前，我已按照计划完成大部分任务，在这个过程中收获良多。

在此，我衷心感谢黄海波老师的悉心指导。老师始终以耐心、专业的态度，为我的毕设提出宝贵建议，助力我理清思路、深化理解、提升效率。同时，也感谢中期答辩各位老师的提问与点拨，让我正视自身不足。后续我将继续全力以赴，认真完成剩余工作，为毕业设计画上圆满句号。