基于视觉伺服的仓储物流机器人自动定位技术

2021-09-17 10:47| 发布者: http://www.daoteng56| 查看:

摘要: 针对当前仓储物流机器人自动定位技术视觉信息反馈延迟,无法确定深度信息,导致定位误差较大、延迟时间较长的问题。提出了基于视觉伺服的仓储物流机器人自动定位方法。通过几何地图描述全局环境模型,确定机器人结构,分析视觉伺服定位原理,根据雅可比矩阵,标定摄像机位置,利用Parzen窗方法预测像素空间密度,提 ...

1 引言
目前仓储物流规模持续扩大,对货品的入库、储存和管理提出更高要求。传统货品搬运和分拣都是由人工进行操作,任务执行程序虽然简单,但是货物基数过大会降低工作效率,不能满足当代高效率物流要求[1]。因此,为更好实现货品出入库管理,将机器人应用于仓储物流监管中。其中物流机器人精准定位是实现大规模自动化物流机器人系统的关键,也是路径导航的基础。
相关领域的不同学者都对其进行了研究,并取得了一定的研究成果。王自力等设计了一种大规模自动化物流机器人系统。应用三轮行走、装卸台等机构、摄像头基站以及芯片实现系统硬件,获取物流机器人的方位信息,采用多传感器融合,优化物流机器人集群调度,并规划物流机器人路径作为软件部分,实现多传感器融合的导航算法。该方法具有较好的鲁棒性,但该方法的未考虑定位误差问题[2]。张彬等提出基于融合异质传感器信息的机器人精准定位方法。通过电机编码信息结合相对定位法预测机器人位姿,利用UWB测距模块与电子罗盘绝对定位法得到机器人位姿,采用卡尔曼滤波算法融合处理位姿信息,并修正累计与瞬时误差,获取最终定位结果。该方法的定位精度较高,但该方法定位过程耗费时间较长[3]。
针对上述问题,本文提出了基于视觉伺服的仓储物流机器人自动定位方法。机器人视觉伺服是将机器人视觉与控制系统进行有机结合,其内容包括图像处理、运动学与控制学等。在视觉系统中建立统一坐标,并采用Parzen窗方法估计像素空间密度,构建误差模型,获得定位判别函数,实现机器人精准定位。
2 仓储物流机器人结构研究
2.1 工作环境
物流仓库环境结构比较简单,满足“曼哈顿街道”模型,能够将仓库平面图变为二维点集合。在仓库道路中将黑色不反光路径作为机器人运行通道,利用智能循环模块使机器人做基本移动[4]。仓库中主要设有出货口、机器人摆放区等区域。物流仓库设计如图1所示。
 
图1 物流仓库设计图   下载原图
在仓储物流机器人定位中,将全局地图储存在内存中作为定位依据。通过几何地图描述全局环境模型,表达式如下所示:
 
公式(1)中,mn表示物流仓库环境中的几何线条,其表达形式为mn=(θi,ρi),i=0,1,…,n,其中,ρi=xcosθi+ysinθi,θi和ρi均为直线特征参数,与空间中参考点相对应。
2.2 仓储物流机器人结构
仓储物流机器人主要组成部分为三轮行走机构、装卸台、抬升机和反馈系统。在机器人坐标体系中将垂直三个交点作为原点,并将直走方向设为X轴,平行地面且和X轴垂直的方向为Y轴,与地面垂直表示Z轴。在搬运货物过程中,机器人根据拟定好的路线行走,且可以实现紧急避障功能。
机器人整体控制结构包括数据采集、处理、反馈、控制与执行五个部分。
3 基于视觉伺服的机器人自动定位技术
3.1 视觉伺服定位原理分析
(1)视觉伺服原理
在机器人视觉伺服操作系统中,对于实时性的要求较高。摄像机需要在此过程中进行图像采集工作。采集一帧图像首先需要做te的曝光,然后读取和发送传感器信息,在t3时间点上结束,最后预处理并分析采集的图像,获取位置数据,向机器人控制系统发送指令,此过程耗时表示为tc。在运动过程中,为防止生成模糊图像,摄像机曝光时间te要小于读取发送时间,因此t3时间点上获取的图像信息表示的是t1时刻的状态,所以出现ta的滞后。
为降低数据反馈滞后带来的影响,利用运动控制卡对机器人运动位置实施快速锁存[5]。根据摄像机在曝光时发出的信号,触发控制卡锁存t1时间点摄像机在X轴方向上的具体位置距离xa,这时获取的图像即表示为此位置机器人所处环境,图像数据与位置信息在时间上保持统一。图像表示仓库的形心在X方向上位置xt的表达式为:
 
公式(2)中,△xw表示物流仓库形心与摄像机光心Oc在X方向上的实际距离。
由机器人运动特性可知,视觉伺服仅对X方向进行,因此可以得出:
 
公式(3)中,△u表示仓库形心对应图像中心的X方向位移。因为△u在固定时间内进行一次更新,所以△xw随之更新。为了获得理想的△xw伺服控制,采用精密运动定位装置获取X方向上实时运行参数特征,并对△xw重新运算。
根据公式(2)和(3)可以得出:
 
根据物流仓储环境可知,△xw变化并不明显,因此结合环境特点取一个近似值就可以确保伺服运动能够在目标位置临近区域内收敛[6]。
由仓储区域与摄像头位置关系能得出:
 
公式(5)中,x0表示目标仓储区在世界坐标系中真实横坐标,图像采集滞后与信息处理耗时均不会对其产生影响,且每间隔ts即可获取新值以便降低误差。x0表示伺服电机实时显示的方位,能够实时获取△x'w。
假设X方向的误差范围为△x,当△x'w≤△x时,X方向符合定位条件,此时,定位机构X方向暂停运动。
利用下述公式对定位机构X方向进行控制:
 
公式(6)中,kp、kl、kD分别代表比例、积分和微分系数,va是定位机构X方向的控制速度。
(2)定位原理
仓储物流机器人日常作业内容为:在获取任务后,将目标物品从货架中取出,送到其它指定位置。根据坐标理论,将任意货架作为一个特殊坐标点,则机器人的任务就是将物品从一个坐标点传送到另一个坐标点[7,8]。所以可以将机器人定位工作目的理解为:一是向管理人员展示机器人作业信息,掌握机器人实时位置,二是机器人自我定位,实现目标物品的确定并令其进行等效传输,达到仓储物流的基本要求。
3.2 摄像机坐标提取
结合摄像机模型投影原理能得出:
 
公式(7)中,(xc,yc,zc)分别表示摄像机在世界坐标系里的坐标,(u,v)是像素点对应坐标,f属于摄像机焦距。
由于摄像机坐标系对于世界坐标系来说只存在平移运动,并且两个坐标系的坐标方向相同,因此可以得出下述图像雅可比矩阵:
 
在提取坐标之前,需要对摄像机做定标,构建摄像机和真实空间点之间的相对联系。在视觉伺服物流仓储机器人操作系统中,包含三个坐标系分别是:机器人坐标系、平台与图像坐标系。图像坐标系将图像中左上角作为原点,将像素作为单位的直角坐标系,x轴和y轴分别为像素在图像中的行数量和列数量。
为使视觉系统中坐标能够统一,需要明确图像中任意轮廓点和真实图形点存在的对应关系,因此构建图像与机器人之间、平台和机器人之间的坐标转换关系,最后确定平台与图像坐标系均在机器人坐标系下[9]。其中,图像坐标系中国某点变换到世界坐标系中的矩阵描述为:
 
公式(9)中,(X,Y)表示某一点机器人坐标,(u1,v1)代表点投影到图像上的坐标,将像素作为单位;矩阵中两个参数分别属于摄像机的内参数与外参数,其中,内参数(cx,cy)为基准点,(fx,fy)是焦距;R表示旋转矩阵,t为平移向量,它们共同代表摄像机在坐标系中的方向。利用矩阵逆求解的方式,能够获取像素点在机器人坐标系中的具体坐标。
3.3 边缘空间密度预测
利用Parzen窗方法预测边缘像素中空间密度概率,需要获取空间中全部边缘像素的贡献。该方法预测的超立方体窗函数能够作为每个概率度函数,选取窗口性能优越的二维高斯函数,假设窗宽为h,则窗函数表示为:
 
通过上述窗函数,预测空间中像素点(u,v)的Parzen窗边缘密度概率为:
 
公式(11)中,xi代表图像中第i个像素,N表示像素个数。直接利用公式(11)进行预测,会降低预测精准度,因此本文做出如下改进。
Parzen窗密度预测方法属于一个核平滑过程,可以通过卷积达到预测目的,采用FFT提高预测速度。实际操作过程中选择代表性较强的点即可满足定位要求。将物流仓库全景圆柱面分割为m块,即m=mr×mθ,mr与mθ分别表示径向与圆周方向块数。选取块中心作为样本点,预测所有中心点的概率密度。详细过程为:首先计算每块权重,并取对应的直方图统计值,将块作为窗口,获取近似Parzen密度预测:
 
公式(12)中,qj表示j的中心位置,上述公式可以通过FFT提高计算速度。通过上述操作,将高维数的图像向量压缩为低维概率密度向量,降低数据储存要求,提高定位速度。
3.4 主成分提取
假设旋转矩阵中每个矢量均表示一幅图像,并使其分别投影在子空间L中则有:
 
公式(13)中,ti表示投影矢量,ns表示投影矢量组成投影矩阵。nc代表物流仓储机器人轨迹中的位置点,将这些点进行连接获得机器人拓扑地图。由于该条路径和真实轨迹只具有集合映射关系,所以不需要遵守地图比例关系。
任意一个投影向量表示原图像主成分,若主成分维数是l,则存在l m。此时对主成分进行提取,使原图数据量得到压缩。利用最大似然法预测出上述公式获取的投影系数复原向量的均方差表达式为:
 
公式(14)中,λj表示恢复噪声,预测出的方差结果可作为定位判别函数的依据。
3.5 误差模型构建
假设机器人通过推算得出k时刻的位置为(),机器人此时的时间位置为(),因此误差为()。结合轨迹推算方法构建下述误差模型:
 
3.6 位置识别
机器人定位判别函数是经过图像密度矢量在对应子空间中的加权欧式距离得出的:
 
公式(16)、(17)中,sk表示图像在特征子空间中的投影向量,ρk代表未知投影向量和特征库投影向量的欧式距离,λi描述图像向量特征值。将不同位置库的图像距离进行对比,由此实现仓储物流机器人自动定位。
4 仿真实验数据分析与研究
本文在视觉伺服基础上进行物流仓储机器人自动定位仿真。首先人工获取位置图像,构建环境模型,使机器人顺着理想轨迹运动。共采集100张位置图,位置纵向和横向的间距分为为30cm与50cm,并建立10个环境模拟库。
实验中超声波发射器与接收设备均利用防水性传感器,中心频率是50kHz,发射角度是45°,满足物流仓储机器人作业要求。图2为机器人在仿真实验中软件系统流程图,软件功能主要包括三部分:图像采集和处理、摄像机定标和坐标提取以及对机器人实时控制。
 
图2 机器人系统软件流程图   下载原图
为了验证所提方法的优越性,分别采用文献[2]方法、文献[3]方法与所提方法进行对比,对比不同方法的定位误差,对比结果如图3所示。
 
图3 不同方法的定位误差对比结果   下载原图
分析图3可知,当位置图像增加到100张时,文献[2]方法的定位误差为1.0mm,文献[3]方法的定位误差为1.3mm,而所提方法的定位误差为0.5mm,由此可知,所提方法的定位误差较小,定位精度较高。
在此基础上得到采用文献[2]方法、文献[3]方法与所提方法的信息反馈延迟时间,对比不同方法的定位延时结果如图4所示。
从图4中可以看出,当位置图像增加到100张时,文献[2]方法的定位延时为0.6s,文献[3]方法的信息反馈延时为0.42s,而所提方法的信息反馈延时为0.2s,由此可知,所提方法的定位延时较短,能够实现实时定位。因为本文将高维的图像向量压缩为低维概率密度向量,由此降低了数据储存要求,有效提高了定位速度,降低了定位延迟时间。
 
图4 不同方法的定位延时对比结果   下载原图
5 结束语
为了解决仓储物流机器人自动定位技术定位误差大、定位延时的问题,本文提出了基于视觉伺服的物流仓储机器人自动定位方法。根据机器人工作环境,建立全局地图,分析视觉伺服定位原理,结合摄像机投影模型,提取摄像机坐标,通过窗函数预测空间边缘密度,获取主成分,构建误差模型,计算机器人误差判别函数,实现自动定位。仿真结果证明,所提方法有效控制定位误差,降低定位延时,为实现物流仓储机器人自动化定位起到指导作用。