2020年春季学期，一场突如其来的疫情，阻挡了学生们返校的脚步，影响了2020届毕业生毕业设计（论文）进展。为做好毕业设计（论文）指导工作，学院多次召开线上会议，研讨毕设线上指导工作，制定《机械工程学院2020年春季学期防疫阶段本科毕业设计实施方案》、《机械工程学院2020年春季学期防疫阶段本科毕业设计相关要求》、《机械工程学院关于开展2020届本科生毕业设计（论文）中期检查方案》。毕设指导教师积极完成毕设学生情况梳理，并根据学生实际情况进行分类指导，利用“云端”开展线上毕业设计（论文）指导工作，在疫情期间将毕业设计（论文）进展所受影响尽力减到最小，确保毕业设计（论文）质量线上线下实质等效。毕业设计中期检查工作中，同学们精心准备，认真答辩，积极展示毕业设计取得的阶段性成果，就让我们一睹为快吧：

学生姓名：姚铭

班       级：机械2016-06班

指导教师：孟祥印

毕设题目：试剂试验操作机器人应用系统设计

一、概况

1. 选题意义

随着生物科技发展，生物实验室自动化需求迅猛增加。现在做检测的需求越来越多，但目前的检测实验还需要专业人员进行操作，不仅耗费人力，且耗时较长，不利于快速医疗诊断，还存在一定误差。试剂试验机器人能对生物检材进行自动检测，无需人工操作，这样不仅能够提高操作的精确度，还能提高试验的工作效率，工作人员就能从繁杂重复的工作中解放出来。

本毕业设计主要针对的是检测领域的色谱分析过程的自动化，结合实验室已有的色谱分析仪以及自动进样器，进一步提升色谱分析过程的自动化程度，力图构建一个全自动化的无人实验室。

2. 任务分解

二、已完成工作

1. 知识软件的学习

从开题到目前，已经完成了Halcon视觉软件学习、Arduino单片机学习、Adams仿真软件学习、QT跨平台应用程序开发软件学习等，还学习了机械臂运动学求解以及手眼标定、图像处理等视觉方面的知识。

2. 装置的设计与建模

整个装置包括注射器抓手、色谱进样瓶抓手、自动化操作手、样品盘、视觉系统、机械臂、废弃盒、试管架和底部平台等多个部分，目前已经完成了119个零件的建模。其中较为关键的为注射器抓手、色谱进样瓶抓手、自动化操作手三个部分。

   3. 硬件系统的搭建

目前已经购进工业相机一台、6mm镜头一个、简易机械臂一台、单片机以相关配件、色谱进样瓶和注射器等，完成了简易机械臂的搭建以及视觉系统的搭建等等。

    4. 机械臂的正逆运动学求解及控制

先对机械臂进行了正运动学求解，由于在实际使用过程中逆运动学求解使用较多，因此又对机械臂进行了详细的逆运动学求解，建立模型如下：

      已知X、Y、Z和L1、L2、L3，要求j0、j1、j2、j3,即三个方程四个未知数，还需要一个条件才能求解出结果。求解有两种思路，一种就是遍历j1，求出所有可能解，再从中删选出理想的解；另一种就是给定一个杆的姿态。结合我的项目实际，我选择给定L3水平，即给定条件，就可以求解出四个角度值。  

    用python编程求解，并做了一个小的上位机程序对机械臂进行逆运动学控制,方便后面进行手眼标定工作。

5.视觉系统的设计开发

视觉系统的设计包括：色谱进样瓶的识别及定位、相机标定、手眼标定、机械臂的视觉引导控制、“结束”字体的识别、上位机软件开发。

(1) 色谱进样瓶的识别及定位

色谱进样瓶的识别比较简单，经过图像灰度化处理、二值化、特征识别等基本的图像处理操作，就可以将色谱进样瓶识别出来，对其求取区域中心，就可以得到其像素坐标。

      (2) 相机标定

  相机的标定采用Halcon自带的标定助手进行标定，结合自己生成并打印的标定板进行标定，标定得到相机的内参和外参。

  标定成功之后利用标定的结果，通过测量一个一角硬币直径来检验标定的精度，测量得到的直径是18.89mm，经查1角硬币直径为19mm，相差0.11mm，精度可以。

(3) 字体的识别

字体的识别采用OCR识别，先生成OCR训练文件，再创建神经网络分类器，之后利用训练文件训练分类器。训练完成之后，读取图像并处理，使用分类器识别文字。

(4) 手眼标定

手眼标定采用九点标定算法，九点标定就是让机械手的末端去走这就9个点得到在机器人坐标系中的坐标，同时还要用相机识别9个点得到像素坐标。这样就得到了9组对应的坐标。

再利用Halcon的算子vector_to_hom_mat2d求取像素坐标和实际坐标之间的转换关系。从标定的结果来看，精度还算可以。

6.上位机软件的开发

上位机软件采用QT跨平台应用程序开发软件（C++）,目前已经实现的功能有串口通讯、手眼标定、图像处理以及控制机械臂的运动抓取等，已经完成了超1200行代码的开发。

三、下一步工作计划

第12周（2020.4.13---2020.4.19）：完成控制电路设计，并完成上位机软件设计开发。

第13周（2020.4.20---2020.4.26）：对整个装置进行仿真分析调试。

第14周（2020.4.27---2020.5.03）：针对调试出现的问题进行解决，完善装置的设计。

第15周（2020.5.04---2020.5.10）：在实验装置上进行实验，并获得实验数据。

第16周（2020.5.11---2020.5.17）：整理数据，完善相关的文档材料。

第17周（2020.5.18---2020.5.24）：开始论文的撰写以及继续完善相关文档材料。

第18周（2020.5.25---2020.5.31）：完成论文的撰写并整理毕业设计的文档。

问题1：色谱分析仪和自动化进样器都是已经存在的产品吗？

答：色谱分析仪和自动化进样器都是成品，是目前实验室已经有的，这是上海的一个公司想要委托实验室在这两台机器的基础上做一个全自动化的无人实验室，实现色谱分析过程的全自动化。

问题2：注意到你前面使用了Python去编写了一个上位机程序，Python有很多包功能也很强大，为什么后面还要转用QT呢？

答:Python的确很强大，不过后面还要联合Halcon做视觉方面的上位机程序，Python没法和Halcon联合编程，Halcon只能导出C++和C#文件，于是就临时决定要转用QT做上位机软件，即学即用。

问题3：那些机械臂、相机等的实物都是你买的吗？前前后后花了多少钱？

答：为了方便做毕业设计，机械臂和相机这些实物都是疫情期间在家买的，前前后后花了有1000多块。不过我觉得非常值得，通过这些实物学习到了很多的知识，例如控制、串口通讯还有视觉方面的知识。

今年因为疫情的影响无法返校，只能在家里面做毕业设计，还是给毕业设计的进展造成了不小的困难。例如，在家里面没有相关的书籍、没有设备等等，而且在家的学习效率也不高，注意力也总是容易被其他的事情所吸引，因此一开始项目的进展很慢。不过慢慢地，从一点点去改变，规定自己每天都要进步一点点，行动起来，逐渐地进入状态，虽然还是不如学校的效率，但已经比刚开始好很多。

当然，毕设的进展不是一帆风顺的，一直都有困难出现，最大的两个就是在进行手眼标定的时候和QT联合Halcon开发的时候。手眼标定刚开始是从Halcon例程中学习到的算法来进行标定的，步骤比较多，比较繁琐，程序也很多，有的地方甚至都不太懂，一开始非常艰难。耗费很长时间完成一次标定之后，得到的结果非常不理想，精度太低误差很大。于是开始找原因，改标定板参数、改变光照等等措施都用了，又做了十几次的标定，其中最好的结果的误差都还是在三四个厘米，项目一度进展不下去。最后，经过调试发现是机械臂精度的问题，无法很准确地到达设定的坐标点，于是选择尝试一下简单的标定算法——九点标定，没想到得到的结果比想象中的要好，误差也相差不大，手眼标定也解决。在这个过程中，最大的体会就是复杂的算法不一定适合所有场合，有时候简单的算法要比复杂的算法好用。

第二个困难就是QT联合Halcon开发的时候，动态链接库一直配置不成功，最后查到的问题是编译器不对，得使用MSVC2015，于是就开始下载VS2010，最后版本不对，又卸载重下了VS2015，不过MSVC2015的32位版本成功配置了，64位的版本还是无法配置，尝试使用32位的配置Halcon动态链接库成功了，不过在编译源文件时报错了，32位的编译器和64位的Halcon配置文件不兼容，又重新卸载重新安装，找解决办法。QT卸载重装了不下10次，VS2015卸载了两次，花了好几天的时间，最后终于配置成功。在这个过程中，一度想要放弃使用QT，一度陷入绝望，感觉项目又要停滞了。不过我还是坚持了下来，一直在网上搜解决办法，最后成功了。虽然每天编写QT程序时，都是“这都不行”和“这都能行”的两种结局，不过还是硬着头皮慢慢地开发。所以，这个过程中最大的体会就是一定要坚持下来，不要半途而废，坚持下来总会有所收获的。

毕设到现在取得了一些进展，不过还是存在许多问题，例如目前只完成了对装置的方案设计和建模，一些细节方面的建模还不够完善，关键零部件的校核计算也还没有进行，还有机械臂的精度较差，视觉系统未加光源等，在后面的工作中我会解决前期出现的问题，完善前期所做的工作，争取保质保量地完成毕设。

在此还要感谢我的导师孟祥印老师，一直在给我悉心的指导和帮助，提出了很多建设性的意见和建议。孟老师每隔一段时间都会在腾讯会议线上指导，听取每位同学的进度报告，解决同学们近期毕设遇到的困难和问题，敦促我们在家期间也要抓紧时间开展毕设，争取组里的同学都能按时完成毕业设计。

毕业的脚步越来越近了，希望每一个小伙伴都能顺利完成毕设，为大学生活画上一个圆满的句号。