欢迎光临河南某某机械有限公司官网!
印后加工设备源头制造某某高新技术企业 欧盟标准 双效合一
全国咨询热线:033-86546592
当前位置:主页 > 关于我们 > 工厂车间 >

3D视觉技能在呆板人抓取功课中的应用实例

时间:2022-04-30 00:23:01 来源:爱游戏网页版 点击:

本文摘要:3D视觉技能在呆板人抓取功课中的应用实例 关键词:3D视觉;工业呆板人;抓取 1 引言 3D视觉技能作为新兴的技能范畴还存在许多亟待解决的问题,但2D视觉已不能满意空间抓取的应用要求。与2D视觉比拟,3D视觉技能的长处有: (1)3D视觉可以提供方针物体6DOF的位姿数据,而2D视觉仅能提供平面内3DOF的位姿数据; (2)3D视觉能给出方针物体的深度信息或物体外貌的点云信息。

爱游戏体育

3D视觉技能在呆板人抓取功课中的应用实例 关键词:3D视觉;工业呆板人;抓取 1 引言 3D视觉技能作为新兴的技能范畴还存在许多亟待解决的问题,但2D视觉已不能满意空间抓取的应用要求。与2D视觉比拟,3D视觉技能的长处有: (1)3D视觉可以提供方针物体6DOF的位姿数据,而2D视觉仅能提供平面内3DOF的位姿数据; (2)3D视觉能给出方针物体的深度信息或物体外貌的点云信息。但与此同时,3D视觉技能在呆板人抓取应用中仍然面对很多挑战: (1)点云空洞:用3D相机捕获反光、透明、网状物体外貌的点云信息,常常会呈现数据的丢失,丢失的点云数据形成了点云空洞; (2)点云粘连:多个物体混乱堆放或者两个物体外貌接近摆放时,差别物体外貌的点云会粘连在一起,这就涉及到如何不变、精确地举行点云支解; (3)点云密度纷歧致:物体外貌与3D相机之间的相对位姿、物体外貌的颜色均会影响点云的密度,使得方针场景的点云密度纷歧致,这在必然水平上给点云处置惩罚算法带来了坚苦; (5)速度:3D视觉的道理要求其处置惩罚的数据量较大。

3D相机的辨别率越高,所收罗的点云质量越好,越能表征物体外貌更细微的几何特征,但相应地带来的数据量就越大。为了适应实际应用需要,如何提高3D相机获取方针场景点云的速度、点云处置惩罚算法的速度仍是需要研究的课题。别的,相机传感器的噪声,点云支解噪声,光照条件的变化,物体的颜色等诸多因素都是3D视觉技能所面对的问题。本文主要研究3D视觉技能在呆板人抓取功课中的应用。

文章第二部门先容抓取功课呆板人3D视觉系统的设计,包括视觉设备的选择、与机械设计的关系;第三部门先容几种3D外貌成像技能;第四部门先容3D视觉处置惩罚算法,包括点云支解、3D匹配等;第五部门给出一个实际应用案例:工业呆板人联合3D视觉分拣白色抽屉纸盒;第六部门为总结。2 抓取功课呆板人3D视觉系统的设计 2.1 3D相机的选择 展开全文 图1 3D相机的选择 选择3D相机时需要思量相机与方针场景之间的间隔以及方针场景的尺寸。

方针场景最好位于相机的中间视场四周,不超出近视场和远视场的界限,即方针场景的高度不超出丈量规模。3D相机的成像精度需要满意应用场景的抓取精度要求。凡是,事情间隔越大,3D相机的视场越大,但成像的精度越低。

别的,相机的辨别率、点云的获取速度也是评价3D成像系统的重要指标。个中,相机的辨别率决定了点云数据量的巨细及其对物体细节的表征水平,关系到点云处置惩罚算法的设计。点云的获取时间加上点云处置惩罚算法的执行时间必需满意抓取应用的节奏要求。

别的,相机的性价比、系统的靠得住性也是选择相机时需要考量的因素。2.2 光源、遮光板的选择 为了制止外界情况光对视觉系统的影响、包管视觉系统的不变性,有时需要外加光源和遮光板。外加的光源不能影响3D相机成像。2.3 视觉系统对机械设计的要求 当相机固定安装时,呆板人需要手持标定板做手眼标定。

为了利便举行手眼标定,可设计专门的Tool抓持标定板,留出足够的空间以包管标定板在手眼标定历程中不会与呆板人产生干预干与。相机固定安装的长处是,对Tool位姿举行变动后,无需再做呆板人手眼标定。当呆板人手持相机照相时,一般要求抓取功课Tool(夹具、吸盘)不遮挡相机的视野。

3 3D外貌成像技能 3D外貌成像/重构/丈量技能,可用于丈量物体外貌上点的(x,y,z)坐标,丈量成果可暗示为深度图{z ij=(x i,y j),i=1,2,…,L,j=1,2,…,M}。除了丈量三维坐标,3D外貌成像系统也可输出物体外貌空间点的其他光学特征值,如反射率、颜色等。这时的点云丈量成果可一般暗示为{P i=(x i,y i,z i,f j),i=1,2,…,N},个中,f i为一向量,代表第i个点的光学特征值。

如常见的RGB-D(红绿蓝-深度)丈量数据可暗示为{P i=(x i,y i,z i,r i,g i,b i),i=1,2,…,N}。今朝,常见的3D外貌成像技能有:双目立体视觉(binocular stereo vision),多目立体视觉(multi-view stereo vision),线布局光三角丈量(laser triangulation with sheet of light),编码布局光三角丈量(encoded structured light),航行时间深度丈量(time of flight),聚焦深度丈量(depthfrom focus),光度立体视觉(photometric stereovision)。3.1 双目立体视觉(binocular stereo vision) 使用两个相机拍摄同一个方针场景,通过匹配场景内同一物理方针点投影到两幅图像中的像点(同源点),丈量获得该点的空间三维坐标。

双目立体视觉的主要任务是双目系统的标定和同源点的匹配。个中,同源点的匹配(立体匹配,stereo matching)方法有相关法、多重网格法和多扫描线法。

这些方法都依赖于方针场景的纹理、布局等特征,因此若能主动制造特征,如投射随机漫衍的散斑图案、编码布局光等图案,则能变被动为主动,通过加强匹配的鲁棒性,使方法具有普适性。图2 双目立体视觉道理示意图 3.2 线布局光三角丈量(laser triangulation with sheet of light) 线激光器投射出的光平面照射到物体外貌上会形成表征其轮廓的亮线,这些窄亮的细线凡是被称为光条。线布局光三角丈量的根基思想是:通过相机拍摄线布局光发射器所照射的方针物体,获得物体外貌上光条中心位置的一系列3D坐标。

因此,方针物体与线布局光成像系统之间做相对运动并在多个差别位置举行照相丈量,才能得到方针物体完整的3D外貌轮廓。线布局光三角丈量的主要任务是:标定相机及其与光平面之间的相对位姿,标定方针物体与成像系统之间的相对运动,提取光条的中心点。

图3 线布局光三角丈量道理示意图 3.3 编码布局光三角丈量(encoded structured light) 编码布局光激光器向方针物体投射颠末特殊设计的编码图案,基于差别的图案编码方法,相机可能需要拍摄一幅或多幅被激光器照射的方针物体外貌图像,通过对比图像上颠末物体外貌调制的编码光图案与未调制的编码光图案可以丈量得到方针外貌的3D描摹。与线布局光三角丈量比拟,只要编码光可以或许照射到整个物体外貌,物体与成像系统之间无需做相对运动即可获取物体外貌的几何全貌。图4 编码布局光道理示意图 3.4 航行时间深度丈量(time of flight) 传感器向方针物体发射颠末调制的近红外光脉冲,然后再吸收从物体外貌反射回来的光脉冲,通过计较返回脉冲与发射脉冲之间的相位差即可测出方针物体的深度。

3.5 聚焦深度丈量(depth from focus) 由于相机的景深有限,在某物距下,方针物体外貌上只有一部门点可以或许在成像平面上清晰成像。聚焦深度丈量操纵这一道理,通过拍摄差别物距下同一物体的多幅图像,提取图像上清晰成像的像点位置,计较获得物体外貌上各点的深度坐标。聚焦深度丈量技能的精度一般高于双目立体视觉和线布局光三角丈量,但因其需要共同远心镜头或显微镜头使用,只适于对小尺寸物体举行丈量。3.6 光度立体视觉(photometric stereo vision) 物体外貌反射光量的几多取决于该外貌与光源和调查者之间的相对姿态。

接纳差别的角度对静止方针物体举行照明,在每个照明角度下,使用同一台相机在同一个固定视角下拍摄一幅图像,光度立体视觉技能使用这组图像预计出方针物体外貌的法向量。今朝,呆板人抓取应用中使用的3D相机主要接纳3.1 ~ 3.4中的成像道理。4 3D视觉处置惩罚算法 根据差别的功效,3D视觉处置惩罚算法可分为: 4.1 点云滤波 点云的滤波(filter)算法主要用于点云数据的预处置惩罚,可实现去噪、光滑、采样、特征提取等功效。

滤波方法有:双边滤波、高斯滤波、条件滤波、随机采样一致性滤波等。4.2 点云特征预计 4.2.1 点云局部特征预计 点云的局部特征(local feature)预计算法用于预计点云中一点或一点周围数个相近点的特征值。这些特征包括法向量、曲率、界限、点特征直方图(PFH)、快速点特征直方图(FPFH)、视角特征直方图(VFH)、NARF描述子、旋转投影统计特征(Rotational Projection Statistics)等。

4.2.2 点云整体特征预计 点云的整体特征(global feature)预计算法用于预计某个点云荟萃的特征,如点云的外貌积、最小外接盒、最大直径、截面曲线等。4.3 点云关键点提取 4.4 点云配准 由于遮挡等原因,为了得到完整的方针外貌3D点云,经常需要从差别的视角对同一方针物体举行扫描。

点云配准(registration)技能是将这些点云数据两两举行匹配,计较它们之间互相重叠的部门,将它们拼接在一起,得到更全面的方针物体外貌点云。点云配准算法有最近点迭代法(ICP)。4.5 点云支解 点云支解(segmentation)算法用于将点云数据支解成差别的子集。

依据应用需求,可接纳差别的支解方法,如平面支解、柱面支解、欧几里得聚类提取、超体聚类支解、区域生长支解、基于最小割的点云支解、基于法向量差的点云支解等。除了上述的3D点云支解方法,点云的支解也可联合2D图像举行。先在2D图像上应用边沿提取、深度进修等算法,然后再对点云举行支解。4.6 三维匹配 三维匹配(3D matching)算法的功效是在搜索数据中找到方针物体并确定它的3D位姿,个中,搜索数据可以是3D点云或2D图像。

三维匹配算法可分为基于形状的3D匹配、基于外貌的3D匹配和可变形外貌的3D匹配。4.7 点云拟合 假如某个点云子集为已知的几何形状,如平面、柱面、球面,可操纵点云拟合算法举行拟合求出相应的位姿和几何参数信息。

别的,点云处置惩罚算法还包括k维树、八叉树等方法。在呆板人抓取功课中,视觉的重要任务之一是方针物体位姿的预计。要预计位姿,正确地支解点云是前提。

凡是,综合操纵4.1~4.4中的方法,然后再对点云举行支解,最后操纵三维匹配或点云拟合预计出方针物体的位姿。5 实际案例研究 5.1 白色抽屉纸盒呆板人3D视觉分拣 5.1.1 视觉系统设计 长方形铁材料框的尺寸为500 X 385 X 180 mm,壁厚为1.5 mm,为制止反光并增加视觉对比度,在料框外貌喷涂哑光黑漆。

3D相机接纳固定安装,在长方形料框的正上方举行拍摄。思量到ABB 2600呆板人的事情规模,3D相机间隔料框底部的高度需大于1000 mm并尽可能取小值。综合思量各类因素,这里选用Ensenso N20-1202-16-BL相机,该相机的事情道理是投射散花纹理的双目立体视觉技能,其辨别率为1280 X 1024像素,最小、最大和最佳事情间隔别离为1100 mm、2200 mm、1400 mm。料框底部间隔相机的间隔设计为1400 mm,在该间隔下3D相机的Z向辨别率为1.037 mm,可以或许满意四个真空吸盘的抓取精度要求;纸盒的最大堆叠高度不凌驾230 mm,Ensenso N20-1202-16-BL在1150mm事情间隔下的视野规模为572.90 X 497.96 mm,可以或许满意视野要求。

为制止情况光的影响,在相机顶部上方安装遮光板,在相机旁边加设白色光源。图5 白色抽屉盒分拣场景示意图 5.1.2 视觉方法描述 视觉法式设计思路: 首先,操纵边沿提取、边沿毗连、腐化、膨胀等算法在左相机矫正图像上支解出差别的纸盒外貌区域; 然后,取每个区域所对应的3D点云,预计这片点云的厚度,若厚度小于阈值t,则认为这片点云代表了一个纸盒外貌的几何描摹,计较这片点云的3D最小外接盒区域,即可估算获得纸盒外貌的长宽尺寸、中心位置与姿态;若厚度大于阈值t,则认为2D图像支解失败,这片点云至少代表两个纸盒外貌的几何描摹,这时先按照点云的法向量、曲率等特征对其举行3D支解,然后再进入上述的厚度判断与尺寸、位姿的计较法式。

为了缩短法式执行时间,对点云做3D支解之前,预先对其举行采样以减少数据量。查抄纸盒外貌上方是否有遮挡,过滤掉上方有遮挡的成果,防止抓取历程中产生碰撞或损坏。最后,将处置惩罚成果根据外貌中心高度、姿态偏向和外貌尺寸举行综合排序,输出到呆板人抓取路径规划法式傍边。

路径规划法式按照视觉输出的成果引导呆板人运动并节制夹具行动。5.1.3 视觉算法处置惩罚成果 如图6(左上)所示,料框中狼藉堆放着三种型号的白色抽屉纸盒,由视觉法式输出的纸盒外貌尺寸与位姿的排序成果如表1所示。可以看出,视觉法式没有给出被遮挡纸盒外貌的计较成果。图6左上:Ensenso左相机矫正灰度图;右上:3D点云渲染效果图;左下:排序输出成果;右下:5#纸盒外貌点云图 表1 白抽屉盒视觉算法输出成果 颠末测试,在该视觉系统下,纸盒外貌尺寸的丈量误差小于5 mm,外貌中心定位误差小于2 mm,外貌姿态预计误差小于5度。

使用intel i7-6820HQ CPU、主频2.7GHz的LenovoP50条记本计较机,视觉处置惩罚时间为3~5 s。6 总结 本文主要研究3D视觉技能在呆板人抓取功课中的应用,归纳了3D视觉技能在呆板人抓取功课中面对的挑战,对呆板人抓取视觉系统的设计方法举行了总结,汇集了当前主要的3D成像技能及3D视觉算法,最后给出了应用案例。返回,检察更多。


本文关键词:视觉,技,能在,呆板,人,抓取,功课,中的,应用,爱游戏网页版官方网站

本文来源:爱游戏网页版-www.cooii.com

在线客服
联系方式

热线电话

11304456694

上班时间

周一到周五

公司电话

033-86546592

二维码
线