除草机器人机器视觉自动导航技术研究

来源:用户上传      作者:

　　摘要 针对除草机器人导航系统存在的成本高和实时性亟待改进的问题，在对自动导航机器人进行总体设计和搭建原型的基础上，通过对RGB和HSI颜色空间进行对比试验，确定视觉导航系统路径提取采用HSI颜色模型。研究了作物与土壤分割方法、导航路径和参数自动检测方法，用Otsu算法对H分量图像进行目标和背景分割，再使用数学形态学、Canny边缘检测、Hough直线检测等操作获取垄间边缘，并计算出导航偏角参数，从而对实现对机器人行走的控制。结果表明，设计的导航系统平均导航误差为3.01°，偏差基本达到应用要求，可实现自动导航。
　　关键词 除草机器人;自动导航;机器视觉;图像处理;路径
　　中图分类号 S126  文献标识码 A
　　文章编号 0517-6611（2020）18-0201-05
　　Abstract In order to solve the problems of high cost and realtime performance of navigation system of weeding robot，based on the overall design and prototype of automatic navigation robot，the RGB and HSI color space were compared and tested，the HSI color model was used for path extraction in vision navigation system. Then the methods of crop and soil segmentation，navigation path and parameter automatic detection were studied. Otsu algorithm was used to cut apart the target and background of H component image and use mathematical morphology，Canny edge detection，Hough line detection and other operations to obtain the interridge edge，and calculate the navigation angle parameters，so as to achieve the control of the robot walking. The test results showed that the average navigation error of the designed navigation system was 3.01°，the deviation basically could meet the application requirements，and the automatic navigation could be realized.
　　Key words Weeding robot;Automatic navigation;Machine vision;Image processing;Path
　　田间杂草与农作物争夺水分、养分和阳光等，会影响农作物的生长发育，从而导致产量和品质降低，故需要进行田间除草作业。人工除草劳动强度高、效率低下，而喷施除锈剂的除草机械无论有无杂草均均匀喷施，若过量喷施会导致成本高、对环境造成污染。若能设计一种能够自动在田间导航行走、且识别杂草的机器人，搭载精准喷药、施肥等工作部件，则能实现精准喷药、施肥，以提高生产效率、降低生产成本、减小农业环境污染。除草机器人涉及到作物及环境感知系统、动力及行走系统、导航及控制系统、精准喷施控制系统等，其中除草机器人的导航系统和动力系统是必不可少的2个重要模块。
　　自动导航系统在军事、航空、交通和农业等领域均得到关注和广泛应用。目前，农业装备中常用GPS导航技术和视觉导航技术[1]。GPS导航由地面控制部分、空间部分和用户装置组成。测量出位置已知卫星到用户接收机之间的距离，并综合多颗卫星的数据，便可对安装接收机的设备进行定位。但GPS民用定位精度为3 m，若不用差分技术，则导致定位误差大，难以满足农业作业要求。计算机视觉导航技术成本低廉、能够更好地描述当前环境，更全面反映当前信息，其核心就是识别出机器行进的路线。因此，机器视觉导航的主要任务是从图像中识别作物行，并检测出轨迹路径，为确定机器的相对位置提供依据[2]。
　　国内外学者对计算机视觉导航技术做了大量研究。Marchant等[3]使用里程计和视觉传感器并融合Kalman滤波器进行试验，车辆横向位置误差的RMS为20 mm，但硬件结构复杂。伊利诺伊大学的Han等[4]通过kmeans算法分割作物，过作物行空间等先验信息辅助，并利用大豆田和玉米田的2个图像数据集来评估程序的准确性，但算法运行速度慢，实时性较差。Kise等[5]研究了双目立体视觉的方法，该方法在农田环境较理想的情况下效果较好，但算法复杂，且对2个摄像头的同步性要求较高。刁智华等[6]利用改进的过绿特征法及中值滤波算法，对玉米田间作物图像进行背景分割，通过随机 Hough 变换检测出玉米作物行中心线。孙元义等[7]研究棉田农药喷洒机器人导航路径识别，根据图像坐标系中垄的变化特征，通过Hough变换得到所需的导航路线。冯娟等[8]针对果园环境导航的相对复杂的条件，提取主干与地面的交点作为特征点，以此为基础生成果园导航基准线，導航基准线的生成准确率在90%以上。曾勇等[9]在YUV色彩空间中实现了水稻列苗的中心线提取。
　　尽管国内外在农业装备导航方面进行了大量研究，并取得了丰硕成果，但在低成本和实时性方面亟待改进和提高。为了提供一种喷施作业的通用机器人本体，笔者基于计算机视觉导航技术，设计一种能够自行导航并行走的机器人，在需求分析的基础上，对自动导航机器人进行总体设计，并搭建了机器人原型，重点研究了机器人田间自动导航系统（包括颜色模型选择、作物与土壤分割方法、导航路径和参数的自动检测），并进行性能测试，调试优化参数，以实现机器人的自动行间识别和导航。 　　1 除草机器人总体设计
　　1.1 需求分析
　　考虑到机器人能在关中小麦田间（行宽15～16 cm，行距20 cm）进行作业，需满足以下条件：①自动导航机器人跨行行走，不过度压实土壤，且重心不宜过高以保持稳定。②除草机器人在作业过程中动态进行作物行及路径识别，故识别算法应具有实时性。③考虑到除草机器人在垄间作业，导航横向误差直接影响喷施农药、化肥的位置精度，故应有较高的导航精度。
　　1.2 机器人总体设计
　　除草机器人结构示意图如图1所示，主要由控制箱、喷头、喷杆、摄像头和履带式行走系统等组成，其中树莓派、L289N驱动板和锂电池等安装在控制箱中。行走系统由24 V的锂电池驱动37GB520直流电机带动履带主动轮行走，机体使用3030铝型材和6061铝板，控制系统包括树莓派3B+、L289N驱动板和USB摄像头。
　　1.2.1 导航系统。导航系统使用USB单目摄像头获取垄间图像，使用树莓派处理垄间图像，获得导航参数，再调用动力系统纠正小车方向。导航摄像头安装在控制箱上方，距地面1.20 cm，视轴与平面的夹角（俯视角）为40°。
　　1.2.2 动力及驱动系统。
　　动力系统由37GB520直流电机、L289N驱动板、树莓派和锂电池组成。树莓派作为动力系统的主控板，负责向驱动板提供占空比为50%、频率为60 Hz的PWM波和逻辑信号，再由驱动板控制电机的转速和方向;L289N驱动板接收树莓派输出的PWM波和24 V电源，根据使能端和逻辑信号，输出正反方向的电压，进而控制直流电机的方向和转速。
　　树莓派与L289N驱动板、电机连接如图2所示，1块L289N驱动板可控制2个直流电机，其中引脚IN1和IN2控制1个直流电机，IN3和IN4控制另1个，可调节输入EnA或EnB的方波的频率和占空比，即形成不同频率的PWM波，实现控制电机的转速;同时，控制IN1～IN4的电平高低实现电机的正转和反转;小车通过控制左右车轮的电机方向实现原地转向。
　　 表1为L289N驱动板的真值表。此外，L289N驱动板支持输入0～35 V的电机电源，当常规应用时，电机电源不高于12 V，需安装板载5 V使能跳线帽，+5 V输出口可向外供电。该研究供电电源为24 V，属于非常规应用，需要拔掉板载5 V的跳线帽，+5 V输出口需接入外部的+5 V电压，为驱动板提供逻辑电平，其余端子的接法与常规应用时一致。
　　2 除草机器人视觉导航系统的设计
　　视觉导航系统采用USB摄像头获取作物垄间图像，并对获取的图像进行分析，提取作物行边界以确定机器人导航路径。为实时、准确提取作物边界，需要在确定颜色模型的基础上，研究快速获取边界的方法。
　　2.1 颜色模型的选择
　　常用的颜色模型有RGB、HSI和LAB等。RGB颜色空间是以红（Red）、绿（Green）、蓝（Blue）三原色为基础，通过不同红、绿和蓝色分量值的组合，可生成1 677万种颜色，该颜色模型适合于计算机处理，故广泛使用。但其颜色空间中从蓝色到绿色之间存在较多的过渡色彩，而绿色到红色之间缺少其他色彩，因此存在色彩分布不均的问题[10]。
　　视觉系统获取的田间图像和对应的R、G、B分量图像如图3所示。R、G、B分量图像的直方图如图4所示。
　　 由图4可知，3个分量图像的直方图处于单峰状态，并不利于作物与土地的区分，因此不适合导航系统的使用。
　　HSI颜色空间用色调H、饱和度S和亮度I表示颜色，其特点是亮度分量与图像的彩色信息无关，可以避免颜色受到光线等条件的干扰，且H和 S分量与人眼感受颜色的方式紧密相关[11]。将图3（a）所示图像由RGB转换为HSI模型，并提取H、S、I 3个分量图像如图5所示。
　　 HSI分量图像直方图如图6所示。由图6可知，S与I分量的直方图为单峰，小麦植株和垄间裸地不易区分，不适合用于图像分割;H分量图像直方图属于“双峰”，用于图像分割可取得较好效果。
　　 故采用HSI模型的H分量确定阈值，进行作物和土壤的图像分割。采用Otsu算法[12]确定分割阈值，对目标及背景进行分割的结果如图7所示。由图7可知，对H分量直方图用Otsu算法确定阈值，能够很好地将作物和土壤分割开来。
　　2.2 导航路径和参数的自动检测
　　2.2.1 导航路径的检测。为了获得导航路径，需要先提取出小麦垄间边缘线，并由此确定出导航路径。具体步骤如下：①形态学运算去除噪声。分割出小麦垄间图像后，为了去除二值图像中的噪声和细小物，填充孔洞，并平滑较大物体的边界，采用5×5结构元素，对二值图像进行开运算[13]，结果如图8（a）所示。②边缘检测提取垄间边界。预备试验对Roberts算子、Prewitt算子、Sobel算子和Canny算子[14]的边缘检测效果进行对比，表明Canny算子边缘检测效果好，故选择该算法检测提取出拢间边界如图8（b）所示。③Hough变换[15]直线检测拟合垄间边缘线。对图8（b）所示的垄间边缘线进行Hough变换，检测出垄间边缘直线如图8（c）所示。拟合垄间边缘两侧边缘线后，计算出2条直线的角平分線，该角平分线即为垄间的中心路径。
　　2.2.2 导航偏角的检测。
　　检测出导航路径后，通过导航路径可以得到所需要的导航控制信息[16]，如图9所示，可计算出导航路径线与图像上、下边缘交叉点A、B的横坐标x1和x”2，h为图像的高度，便可计算出导航路径和图像中竖直直线之间的夹角θ。当导航机器人在当前路径无须纠正时，θ在0°左右，故根据θ值，判断机器人的偏转方向和偏转角度。
　　 如图9所示，θ可根据式（1）计算：
　　θ=arctanx2-x1h（1） 　　當机器人行走方向向右偏时θ∈（0°，90°]，而θ∈[-90°，0°）时机器人向左偏，机器人导航程序运行时间为|θ|/90°×t0，t0为机器人转向90°所用的时间，经多次测量后取平均值，t0设置为6.70 s。
　　2.3 导航试验结果及分析
　　为了验证导航系统的识别路径的准确性，在小麦试验田采集图像。通过导航系统测试图像中导航路径得到θ的角度作为系统测量值，再依据式（1）计算θ作为计算值，与导航系统的系统测量值进行比较。用θ的均方根误差（RMSE）评价导航系统性能。
　　图10为导航系统的检测结果，图像中的红色直线是导航系统的测量结果，左上角的数值是程序计算出的θ，θ的大小和机器人偏转的方向与理论分析相一致。
　　表2为θ的计算值和标注值的比较，计算值和标注值的平均误差为3.01°，均方根误差为2.94°，导航误差较小。
　　3 结语
　　基于计算机视觉导航技术，研究并开发除草机器人作业平台，重点对视觉导航系统进行设计，通过对比试验选择HSI颜色空间的H分量进行作物与土壤的分割，并经数学形态学处理、霍夫变换边缘检测、边缘直线拟合等提取导航路径，计算出小车的偏转方向，依据该偏角进行方向调整。该试验结果表明，设计的导航系统平均导航误差为3.01°，可以达到导航行走的目的。但采用树莓派处理数据的能力有限，进行路径和偏角检测耗时较长，尚需在实时性方面进一步改进。
　　参考文献
　　[1] 姬长英，周俊.农业机械导航技术发展分析[J].农业机械学报，2014，45（9）：44-54.
　　[2] 张方明，应义斌.机器视觉在农业车辆导航系统中的研究进展[J].农业机械学报，2005，36（5）：133-136.
　　[3] MARCHANT J A，HAGUE T，TILLETT N D.Rowfollowing accuracy of an autonomous visionguided agricultural vehicle[J].Computers and electronics in agriculture，1997，16（2）：165-175.
　　[4] HAN S，ZHANG Q，NI B，et al.A guidance directrix approach to visionbased vehicle guidance systems[J].Computers and electronics in agriculture，2004，43（3）：179-195.
　　[5] KISE M，ZHANG Q，MS F R.A stereovisionbased crop row detection method for tractorautomated guidance[J]. Biosystems engineering，2005，90（4）：357-367.
　　[6] 刁智华，赵明珍，宋寅卯，等.基于机器视觉的玉米精准施药系统作物行识 别算法及系统实现[J].农业工程学报，2015，31（7）：47-52.
　　[7]  孙元义，张绍磊，李伟.棉田喷药农业机器人的导航路径识别[J].清华大学学报（自然科学版），2007，47（2）：206-209.
　　[8]  冯娟，刘刚，司永胜，等.果园视觉导航基准线生成算法[J].农业机械学报，2012，43（7）：185-189.
　　[9] 曾勇，熊瑛，向阳，等.基于机器视觉的田间水稻苗列识别算法的研究[J].湖南农业大学学报（自然科学版），2018，44（3）：320-325.
　　[10] 张飞飞，孙旭，薛良勇，等.融合简单线性迭代聚类的高光谱混合像元分解策略[J].农业工程学报，2015，31（17）：199-206.
　　[11] 宋玉婷.基于三维彩色直方图均衡化的彩色图像增强算法研究[D].济南：山东财经大学，2013.
　　[12] 唐泽华.基于机器视觉的步行插秧机自主导航关键技术研究[D].杭州：浙江理工大学，2012.
　　[13] 何东健，耿楠，龙满生，等.数字图像处理[M].3版.西安：西安电子科技大学出版社，2015.
　　[14] CANNY J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8（6）：679-698.
　　[15] MARCHANT J A，BRIVOT R.Realtime tracking of plant rows using a Hough transform[J].Realtime imaging，1995，1（5）：363-371.
　　[16] OKAMOTO H，HAMADA K，KATAOKA T，et al.Automatic guidance system with crop row sensor[C]∥Proceedings of automation technology for offroad equipment.Chicago，Illinois，USA：ASAE，2002.
转载注明来源:https://www.xzbu.com/1/view-15320073.htm