欢迎访问一起赢论文辅导网
计算机论文
当前位置:首页 > 计算机论文
基于全向结构光的深度测量方法
来源:一起赢论文网     日期:2016-11-01     浏览数:5905     【 字体:

 41卷 第9期 自 动 化 学 报 Vol. 41, No. 920159ACTA AUTOMATICA SINICA September, 2015一种基于全向结构光的深度测量方法贾同1吴成东1陈东岳1王炳楠1高海红1房卓群1摘 要 深度测量是立体视觉研究的重要问题, 本文提出一种基于全向图与结构光的深度测量方法. 首先, 根据测量系统特点, 采用了基于多参考面的投影仪标定算法; 然后, 设计了一组\四方位沙漏状"编码结构光, 实现待测图像与参考图像的对应点计算; 最后, 在移动条件下, 研究基于先验约束迭代就近点(Iterative closest point, ICP)的深度点云匹配算法. 实验结果表明, 本文方法可以准确地对室内场景进行深度测量, 且抗干扰能力较强.关键词 深度测量, 全向图, 结构光, 立体视觉引用格式 贾同, 吴成东, 陈东岳, 王炳楠, 高海红, 房卓群. 一种基于全向结构光的深度测量方法. 自动化学报, 2015, 41(9):1553¡1562DOI 10.16383/j.aas.2015.c140857A Depth Measurement Method by Omni Directional Image and Structured LightJIA Tong1WU Cheng-Dong1CHEN Dong-Yue1WANG Bing-Nan1GAO Hai-Hong1FANG Zhuo-Qun1Abstract Depth measurement is an important problem in stereovision. A depth measurement method based on om-nidirectional image and structured light is proposed. Firstly, according to the measurement system characteristics, mainresearch attentions are paid to the study of projector calibration algorithm based on multiple reference planes. Secondly,a group of \four direction sand clock-like" encoding structured light is designed. It can be used to compute the corre-sponding points between the measured image and reference image. Thirdly, under a mobile condition, a depth point-cloudmatching algorithm based on prior-constraint iterative closest point (ICP) is studied. Experimental results demonstratethat the proposed method can acquire omnidirectional depth information of large-scale scenes accurately, and has highanti-interference abilility.Key words Depth measurement, omnidirectional image, structured light, stereovisionCitation Jia Tong, Wu Cheng-Dong, Chen Dong-Yue, Wang Bing-Nan, Gao Hai-Hong, Fang Zhuo-Qun. A depthmeasurement method by omni directional image and structured light.Acta Automatica Sinica, 2015, 41(9): 1553¡1562立体视觉是机器视觉(Robot vision) 领域的关键技术, 即由同一场景的两幅或多幅观测图像出发获取物体三维信息的一种方法. 立体视觉的目的是根据所测的图像信息, 建立被观测景物的三维模型.心理学上的视觉感知使我们得知二维图像本身蕴含着丰富的三维信息, 其中最重要的就是深度信息, 因此深度感知问题是立体视觉的研究基础. 它主要研究如何利用机器视觉系统模拟、延伸和扩展人的视觉感知能力, 对场景深度信息以可视化三维模型的形式进行还原和显示, 使机器人能在视觉系统引导收稿日期2014-12-09 录用日期2015-05-28Manuscript received December 9, 2014; accepted May 28, 2015国家自然科学基金(61273078), 教育部 博士点基金(20110042120030), 中央高校基础科研业务费(130404012) 资助Supported by National Natural Science Foundation of China(61273078), Doctoral Foundation of Ministry of Education ofChina (20110042120030), and Fundamental Research Funds forthe Central Universities of China (130404012)本文责任编委贾云得Recommended by Associate Editor JIA Yun-De1. 东北大学信息科学与工程学院沈阳1108191. College of Information Science and Engineering, Northeast-ern University, Shenyang 110819下有效地与周围环境产生作用[1¡2].近年来, 随着智能机器人领域的快速发展, 目标深度信息提取与测量已经成为国内外研究热点. 一般可将该类技术分为被动式和主动式两种. 被动式深度测量技术是指视觉系统接受来自场景发射或反射的光能量形成图像, 并在这些图像的基础上恢复场景的深度信息. 其中, 双目视觉技术最具代表性.基本原理就是利用位置不同的两台或者一台摄像机经过移动或旋转拍摄同一副场景, 通过计算空间点在两幅图像中的视差, 获得该点的深度信息[3¡4]. 传统的双目视觉技术在标定、匹配及重构方面的基础性问题还未得到很好解决, 而最为关键的问题是两幅图像中的特征点匹配问题.在三维空间深度信息的获取中, 最有效的方法是采用结构光主动视觉技术及其装置. 基本原理为采用一个光源装置代替双目视觉中的一个摄像机,用光源装置向场景中投射已知图案, 用摄像机捕获图案, 根据系统几何关系和三角测量原理获得待测物体的深度信息. 由于该类技术使用已知图案对空间待测物体进行标记, 因此很好地解决了对应点匹1554 自 动 化 学 报 41卷配的难题. 同时结构光技术还具有成像系统结构紧凑、深度信息提取准确的优点. 根据结构光投射光源方式可分为: 点结构光法、线结构光法、面结构光法. 点结构光法是激光器投射一个点光束到目标上,利用相机或PSD (Position sensitive detector)接收反射光逐点测量, 测量速度慢[5]. 线结构光法使用线激光, 一次就可获取一个截面内的点云数据, 大大增加了单次测量的分辨率[6]. 为了实现大范围扫描,线结构光需要在某一个方向上进行连续扫描, 故测量效率存在缺陷. 面结构光法是将一张或多张具有特定编码的图像依次投射到目标上, 从而获得投影仪和相机间的对应关系, 利用三角测量原理可一次获得完整的三维深度信息.虽然基于结构光的深度信息提取已经逐渐成为研究热点, 但由于传统视觉成像视野的制约, 限制了该领域的进一步发展. 以面结构光的典型代表Microsoft公司的Kinect设备为例[7¡8], 可以快速测量目标的深度, 测量距离为0.5米至5. 但由于该设备的视觉俯仰视野约为45, 水平视野约为60, 无法一次投影获得完整的三维场景信息. Kinect安装在移动机器人平台上进行深度测量时,被测目标特征出现在视野范围内的时间短, 不能对特征进行连续观测, 造成复杂环境中提供的信息少,不利于优化决策. 另外一些多目视觉成像方法也具有此类问题, 面向大场景深度信息提取, 需要拍摄多幅图片才能达成[9]. 相对于传统视觉, 全景视觉传感器(Omnidirectional vision sensor, ODVS)具有信息感知范围宽、信息获取完整等优点, 可以感知360度的全景环境信息, ODVS 所获得的图像也称为全向图.与被动视觉方法类似, 全景立体视觉的最大挑战也是对应点的匹配. 针对这一问题, 国外学者提出了基于结构光的三维全景测量方法. Yi等用4组线激光向空间投射一个激光平面, 利用抛物面折反射式相机拍摄目标上变形的激光线从而获得目标的空间坐标, 他还给出了测量系统标定方法[10¡11]. 在此基础上, Matsui 等利用单个激光器与一个圆锥反射镜也可获得一个激光平面[12]. 此外, 还有原理类似的三维全景测量系统[13]. 但是上述系统仅能测量一个平面内的三维点云, 无法获得场景的完整深度信息. 近年来, 我国学者也开始在三维全景测量领域开展研究, 如浙江工业大学、哈尔滨工业大学、国防科技大学、浙江大学、清华大学、中国科学院自动化研究所、东北大学等, 已经在该领域中取得一些成果[14¡20].综上所述, 虽然基于结构光的三维全景测量已经受到国内外学术界的高度重视, 但其基础理论与技术水平尚不成熟, 主要表现在以下几方面: 1) 标定繁琐误差大. 三维全景测量系统中待标定的参数过多, 加大了计算复杂度. 另外, 投影仪标定过程会用到摄像机标定结果, 摄像机标定误差会带入到投影仪标定过程中, 影响了标定精度. 2) 计算复杂精度低. 三维重建时需要在每幅图片中找到特征点进行匹配, 导致计算复杂、实时性差[21]. 3) 目标遮挡易丢失. 由于遮挡问题的存在, 容易导致目标的漏检和丢失, 对于目标定位、跟踪、识别造成了很大的挑战[22].1 基于双曲面镜的单视点全景成像双曲面镜成像具有单视点特性, 图像中每个像素与射向场景物点的一条射线对应(如图1所示).F1 F2 分别表示双曲面的两个焦点. 其中, F1 为世界坐标系原点, F2(0;0;¡2e) 为图像坐标系原点,OC为投影中心. 其中, 双曲面镜折反射式如下:(z+e)2a2¡x2+y2b2= 1 (1)1 单视点全景成像折反射模型Fig. 1 Catadioptric model of single-viewpointomnidirectional imaging(1) , ab 分别表示双曲面的长轴和短轴. 在单视点条件下, 来自P点的光线和曲面镜交于点Pm, 并且反射到图像平面上的点PI. PI Pm相互间的关系可以被表示为PI =K[R; T]Pm (2)其中, K表示摄像机的内部参数, RT表示摄像机的外部参数. 理想情况下, R等于一个单位矩阵9期 贾同等: 一种基于全向结构光的深度测量方法 1555I, T[0;0;2e]. (2) 转换为PI =264fx® u02eu00 fyv02ev00 0 1 2e375Pm (3)其中, fxfy 分别表示沿着X轴和Y轴方向的焦距, [u0; v0] 表示图像中心的坐标, ®表示斜率. 利用式(1), 得到:Pm=PM£¸(P) (4)其中,¸(P) = b2(¡ez¡apx2+y2+z2)=(b2z2¡a2(x2+y2)). 结合式(3)(4), PI P相互间的关系可以被表示为PI =¸(P)264fx® u02eu00 fyv02ev00 0 1 2e375P (5)264xIyI1375I»=b2¡¡ez¡apx2+y2+z2¢b2z2¡a2(x2+y2)£264fx® u02eu00 fyv02ev00 0 1 2e375264xyz1375(6)其中, e=pa2+b2. 本文根据折反射参数设计双曲面镜成像, 并确保摄像机被安装在双曲面镜的第二焦点F2 位置, 从而获得清晰成像.2 深度测量方法2.1 全景成像系统构建目前, 设计的全景成像系统由三部分构成, 分别是全向图捕捉系统、结构光投射系统以及三轴位移系统, 系统结构图如图2所示. 全向图捕捉系统由双曲面反射镜和工业摄像机构成, 可以获取水平视角360, 垂直视角130»150度的全向图. 结构光投射系统由4个微型投影仪构成, 可以同时向4个方向投射编码结构光, 从而对周围空间物体进行深度测量. 三轴位移系统通过步进电机控制, 可以做水平与垂直方向的精确位移, 能够在XY Z方向上实现精确到微米级的移动.2 全景成像系统结构图Fig. 2 Structure of the omnidirectional imaging system2.2 基于多参考面的投影仪标定由于投影仪不是图像捕捉装置, 因此其标定的难点是获取目标特征点的图像坐标. 根据获取坐标的方式, 投影仪标定方法通常有三类: 1) 获得标定物上特征点的世界坐标, 运用相位技术求出其图像坐标[23]. 这类方法需要多次投射正弦光栅, 并且图像坐标的精度依赖于绝对相位展开的精度; 2) 同样先测得标定物上特征点的世界坐标, 然后将特定的结构光图案投射到标定物上, 运用交比不变性换算出投影图案特征点在图像坐标下的坐标[24]. 这类方法需要分别将用于相机标定和投影仪标定的图案区分开来, 还需要做直线拟合和灰度插值; 3) 获得投影图案特征点的图像坐标, 利用已标定相机模型的参数, 反向投影求解其世界坐标[25¡26]. 为了达到将相机标定和投影仪标定的图案区分开来的目的, 此类方法通常需要特殊设计的标定板.本文面向全景成像系统, 提出了一种基于多参考面的投影仪标定新方法, 以双参考面为例, 标定原理如图3所示. 其中Li 为由投影仪射出的投射光线向量, Lx 是目标点反射到全景相机的反射光线向量, O是目标物上的待测点. 对投影仪的标定, 就是要计算射线Li 的方程. 我们利用了两个深度已知的参考面来标定投影仪, 参考面垂直于世界坐标系的X. 因此参考面距离全景相机的距离就是其在世界坐标系下X轴上的坐标.首先, 在深度为d1 的位置设定参考面1. 由投影仪向参考面1投射结构光, 并根据全景相机的标定结果所得到的结构光编码图案特征点的图像坐标获得与之对应的向量Lo1 的方向向量为(x1; y1; z1).由于Lo1 经过双曲面镜焦点即世界坐标系的原点1556 自 动 化 学 报 41(0;0;0),Lo1 的参数方程为8><>:x=x1ty=y1tz=z1t(7)Lo1 与参考面1有一个交点r1, 参考面1的平面方程为: x=d1, 可求出r1 在世界坐标系下的坐标为(d1; y1=x1¢d1; z1=x1¢d1).3 基于双参考面的投影仪标定模型Fig. 3 Projector calibration model based on doublereference planes然后, 使待标定投影仪向参考面2投射结构光,由系统捕捉第二参考面图像, 利用相应的编解码方法, 分别计算两个参考面图像中各个编码图案的码值, 并根据单位位置上编码图案的唯一性原则确定第二参考面图像上与点r1 相对应的对应点r2. 假设点r2 反射到全景摄像机的反射光线为Lo2, 根据摄像机的标定结果所得到的结构光编码图案特征点的图像坐标得到与之对应的向量Lo2 的方向向量为(x2; y2; z2),Lo2 的参数方程为8><>:x=x2ty=y2tz=z2t(8)由于参考面2的平面方程为x=d2, 可求出r2在世界坐标系下的坐标为(d2; y2=x2¢d2; z2=x2¢d2).由图3可知r1 点与r2 点都在投影仪射出的射线Li , 因此可以计算得到Li 的方程, 从而完成一个方向投影仪的标定. 重复以上步骤, 可以完成另外三个方向投影仪的标定.当对待测目标深度进行测量时, 仅需要根据目标物入射光线方程与两条参考面反射光线方程联立求解, 即可求得深度信息, 原理如图4所示. 具体步骤为1)判断投影仪射线Li 与被测物体表面目标点的一条射线Lx 是否共面, 若是, 则计算出这两条直线的交点坐标, 即得到待测目标点的空间三维坐标;若否, 则执行步骤2)»4);2)平移Li 使其与Lx 相交于点S1;3)通过点S1 Li Lx 构成的平面的垂线,该垂线与Li 的交点为S2;4)连接点S1 与点S2 得到Li Lx 的公垂线段, 计算该公垂线段中点M的坐标, 即得到被测物体表目标点的空间三维坐标.4 异面直线公垂线中点计算Fig. 4 Depth measurement method2.3 结构光编解码2.3.1 结构光基元图像设计在面结构光研究中, 根据不同的编码策略将当前的编码图像分为时间多路编码策略、直接编码策略和空间领域编码策略三类[27]. 时间多路编码策略是目前最常用的一种结构光编码方法, 包括二进制编码策略、格雷码等. 它对检测物体表面连续投射多幅不同的图像, 每一幅投射图像上相同坐标像素的亮度、相位等信息共同构成了这一点像素的编码值[28¡29]. 此种编码策略在三维扫描工作中具有较高的精度, 然而不适用于动态的物体测量是其最大的局限. 直接编码策略的投影图像要求每个像素点都能通过其自身包含的特征信息(灰度值或色彩值)进行自我编码, 因此每个像素点的码值都由该像素自身的特征所决定. 由于像素点过多且相邻像素编码颜色比较接近, 对于噪声的灵敏度较高, 即与被测表面颜色密切相关, 影响测量精度[30]. 空间领域编码策略是将一幅或者几幅图案中的所有编码信息压缩至一幅图案, 图案中任意一个特征的码值都由所在位置的基元图案所代表的码字和其邻域内的其他码字共同组成, 适用于动态物体检测. 同时, 该策略考虑了每个码字在编码图案中的唯一性, 有效解决了9期 贾同等: 一种基于全向结构光的深度测量方法 1557特征点匹配的难题[31¡32]. 常用的空间邻域编码策略主要包括以下几类: 1) 不规则图案编码; 2) 一维伪随机序列编码[33]; 3) 二维伪随机阵列编码[34].以上三种编码策略中, 时间多路策略需要连续投射多幅图案进行检测, 不适合检测动态物体. 直接编码策略由于需要采用大量的颜色或者灰度进行编码, 对噪声特别敏感, 需要额外利用参考图像才能解决颜色干扰的问题. 而空间邻域编码策略通常只需要一幅图像就可以完成检测, 具有较高的空间分辨率与环境适应性. 本文利用伪随机M阵列能够方便对投影图像水平和垂直两个方向进行同时编码的特点, 基于M阵列的空间邻域编码策略, 设计了一种\四方位沙漏状"编码结构光图像. 设计原理如下:若有一维数为i£j 的矩阵M, 且在M中所有m£n维不都是零的子矩阵只出现一次. 这种矩阵被称作为伪随机阵列, 也称为M阵列, 这种阵列是由一维伪随机序列拓展到二维而得到的, 所以M阵列和一维伪随机序列一样, 其本身也具有预先不可确定、不可重复实现等特征. 为了满足单次投射条件, 我们需要设计一组基元图像代表伪随机阵列中的不同元素. 而且, 为了易于特征提取和图像处理,在设计过程中提出以下几个约束条件:1)投射单色光, 即图案由黑白两色构成. 相对于彩色结构光而言, 只有两种光强, 易于图像处理.2)在一幅编码结构光图案中, 保证单位区间基元图案的唯一性.3)基元图案中心对称, 具有明显的特征点, 易于精确提取, 且抗干扰性好、稳定性高.基于以上约束条件, 本文设计了一种沙漏状图像作为基元图像. 构造的伪随机阵列基元的元素值为f0;1;2;3g, 针对4个不同的基元字符, 采用4个不同的图形基元来构建投影图案, 如图5所示.5 4个结构光基元图案Fig. 5 Four image primitives of structured light5, 将基元图案中心处两个三角形的顶点作为基元图案的特征点. 其中, 带箭头的线段表示的是基元图像\中线"的方向, 其与基轴的夹角分别为0度、45度、90度、135, 并以此作为基元符号的识别标准, 分别对应伪随机阵列中的f0;1;2;3g.2.3.2 解码策略因为本文使用的投影图案是经过特殊设计的伪随机编码图案, 需要对获取图像进行特征点提取、方向角计算, 然后再将识别后的基元图像根据其自身几何特征还原成对应的数字矩阵, 即完成解码. 下面分别进行介绍.2.3.2.1 基元图案特征点提取1)预处理. 首先, 需要对捕捉到的原始图像进行去噪、顶帽变换等预处理操作. 然后, 采用Canny算子对目标区域图像进行边缘提取操作, 可以得到基元图案的边缘结果.2)特征点提取. 首先, 进行基于质心坐标的特征点粗提取. 然后, 进行基于灰度梯度的特征角点的精提取. 本文在特征角点粗定位的过程中, 需要根据质心公式分别对所有基元符号边缘单独进行质心坐标计算, 静矩的计算公式如下:mpq =k¡1 Xi=0l¡1 Xj=0ipjqf(i; j) (9)式中, k£l 表示图像尺寸, i j 表示像素坐标,f(i; j) 表示相应位置的像素值. 基元图案的质心坐标为xc =m10m00; yc =m01m00(10)采用上述方法对投影图像进行特征点的提取,提取结果如图6 (a)所示. 将特征点坐标投影到原始图像中, 如图6 (b)所示.(a) 特征点提取(a) Feature point extraction(b)特征点映射(b) Feature point projection6 特征点提取结果Fig. 6 Feature point extraction results2.3.2.2 基轴计算本文根据图像基元符号的中线与图像基轴之间的夹角来对投影图案进行解码. 由于全向图在水平方向上的位置信息会发生偏移, 如图7中横线所示,因此不适合作为基轴. 而若空间中两个目标点的连线是垂直于水平面的一条直线, 则这两个目标物在全向图中的相对位置不发生改变, 因此本文将基元图案的基轴设定为垂直方向. 由于投影仪投射的编码图案经过双曲面反射镜发生了畸变, 编码图案中1558 自 动 化 学 报 41卷竖直方向的直线在全向图中变成了径向直线, 所以根据获得的全向图中每一列基元图案特征点的连线构成的径向直线的方向, 即为基轴方向, 如图7中垂直方向所示.7 结构光基轴提取Fig. 7 Horizontal and vertical lines in theomnidirectional image2.3.2.3 码值计算本文采用基于邻域的空间编码策略, 每个基元的码值都由其自身码字和其8邻域的码字决定. 针对某一待解码基元(如图8 (a)所示), 将该阵列中的各个码字按照一定顺序排列可以获取一个唯一确定的码值. 如图8 (b)所示, 以待解码图形基元质心的码字为第一个码字, 其余8个码字分别按照与待解码图形基元相邻的上侧、右侧、下侧、左侧、左上侧、右上侧、右下侧、左下侧的图形基元码字的顺序排列, 得出待测基元的码值为123200103.8 解码策略Fig. 8 Decoding strategy对目标图像和参考图像分别进行解码获得码值矩阵, 通过编码窗口的唯一性可以确认目标图像特征点与参考图像特征点之间的一一对应关系. 在此基础上, 根据标定结果计算目标点的深度信息.2.4 基于改进迭代就近点(ICP)的深度点云匹配在对实际场景测量过程中, 为了避免遮挡, 获得更大的视场信息, 需要移动视觉系统, 并采用点云匹配算法以获得更大场景的深度点云信息. 因此, 本文提出了一种改进的迭代就近点(Iterative closestpoint, ICP)算法, 基本思路如式(11)所示.f=1NpNp Xi=1°!mi ¡R¢!qi ¡T°2(11)在视觉系统移动过程中, 连续拍摄的两幅图像存在重复部分. 设在重复部分对应点对之间的均方根误差为f, Np 为两幅深度图像点集中对应点对的个数, 点集坐标分别保存在参考点集向量M=fmi; i = 0;1;2;¢ ¢ ¢ ; Npg和目标点集向量Q=fqi; i = 0;1;2;¢ ¢ ¢ ; Npg, RT分别是对应点对进行匹配的旋转和平移参数. 计算均方根误差f, 如小于预设的阈值, 则结束; 否则, 采用式(11)进行迭代, 直至f小于预先设置的阈值.由于ICP算法在确定初始对应点集上需要耗费大量时间, 如果进行匹配之前给出点云的初始位置,就可以大幅度减少寻找初始对应点集的时间. 因此,本文控制三轴移动平台的移动方向与移动距离, 可以预先计算出初始旋转矩阵R0 和平移向量T0, 从而得到新的点集Q1, 如式(12)所示.Q1=Q¢R0+T0(12)以点集Q1 替换计算MQ1 之间的均方根误差f, 如小于预设的阈值, 则结束; 否则, 继续进行迭代, 直至f小于预先设置的阈值. 利用此思路可以减少计算初始对应点集的时间, 提高ICP算法的效率.3 实验结果与分析3.1 深度测量误差分析本文对不同深度平面进行了测量分析, 提取16组深度数据进行误差分析(如表1所示). 由表1可知系统的最大误差是0:5307 mm, 测量均值、标准差、方差分别为0:25260:12930:0167.本文把测量结果分别与传统线结构光方法与我们提出的网格结构光测量方法[35]进行了对比, 如表2所示. 线结构光测量基于时间多路编码策略, 准确性较低, 且需要多次投影才能完成测量. 网格结构光法基于空间领域编码策略, 可以实现单次投射, 测量准确性较高, 但易受到环境光与物体表面变反射率的影响. 线结构光与网格结构光都不适合对动态物体进行测量. 本文方法为单次投射结构光编码方法, 可以实现在移动条件下对动态物体进行精确测量, 而且鲁棒性较好.9期 贾同等: 一种基于全向结构光的深度测量方法 15591 深度测量结果及其误差(毫米)Table 1 Depth measurement results and errors (mm)实际深度 测量深度 测量误差520 520.1026 0.1026530 530.1019 0.1019540 539.8949 0.1051550 550.1246 0.1246560 559.8762 0.1238570 569.8564 0.1436580 580.1392 0.1392590 589.8509 0.1491600 600.1849 0.1849610 609.7914 0.2086620 620.2916 0.2916630 629.6634 0.3366640 640.3515 0.3515650 649.658 0.342660 660.3815 0.3815670 669.4693 0.53073.2 点云匹配分析本文中,在实验台移动过程中相邻两个位置(P1P2位置) 获取的全向结构光图像分别如图9 (a)(c) 所示, 相应的局部目标结构光图像分别如图9 (b)(d) 所示. 10为相应两个位置的点云匹配实验结果, 可以获得更大场景的深度点云信息. 在工作台移动过程中, 本文基于改进ICP 算法实现了点云匹配, 并与经典ICP 算法进行了对比, 如表3所示.(a) P1 位置全向结构光图像(a) Omni-directionalstructured light image at P1position(b) P1位置局部目标结构光图像(b) Local structured lightimage at P1 position(c) P2位置全向结构光图像(c) Omni-directionalstructured light image at P2position(d) P2位置局部目标结构光图像(d) Local structured lightimage at P2 position9 相邻两个位置(P1P2位置) 全向与局部目标结构光图像Fig. 9 Omni-directional and local structured light image2 不同结构光方法比较Table 2 Comparison of di®erent structured light methods准确性 相机 投影仪 投影 3D点云是否适合 是否易受 是否易受方法(均值) 分辨率 分辨率 次数 个数动态物体 环境光 物体变反射率测量 干扰 的影响线结构光 2.3 mm 1 024£768 | 1 300 否 否 否网格结构光 0.21 mm 1 024£768 点阵51£51 1 320 否 是 是本文提出方法 0.25 mm 1 024£768 854£600 1 1 440 是 否 否(a) P1 位置局部目标深度点云图像(a) Local object depth point matching atP1 position(b) P2位置局部目标深度点云图像(b) Local object depth point matching atP2 position(c)深度点云匹配图像(c) Depth point matching image10 深度点云匹配Fig. 10 Depth point matching1560 自 动 化 学 报 41卷表3 改进ICP算法与经典ICP算法时间对比Table 3 Time comparison between the improved ICPalgorithm and the classical ICP algorithm点云个数 经典ICP 算法时间(s) 改进ICP 算法时间(s)126 0.139264 0.017292139 0.151283 0.017723148 0.152739 0.018263165 0.169276 0.020574173 0.197549 0.0260173.3 目标三维重建本文将标定完成的投影仪向4个方向投射预先设计的编码结构光, 并在一幅图像中对4个方向的结构光图案进行解码操作. 11为获得的全向结构光图像. 基于本文方法获得四方位目标深度点云后,采用Delaunay三角剖分方法对深度点云信息进行了三维重建, 全向图重建结果如图12所示.11 全向结构光图像Fig. 11 Omni-directional image12 全向三维重建结果Fig. 12 Omni-directional 3D reconstruction result4 结论本文提出了一种基于全向图与编码结构光的深度测量方法. 首先, 提出基于多参考面的投影仪标定新方法, 把对投影仪参数计算的过程转换为求解投影仪射出的空间射线方程的过程, 克服了一般成像系统标定方法中, 标定步骤繁琐且误差较大的问题. 然后, 设计了一种四方向的沙漏状结构光基元图案, 有效减少了特征点提取与立体匹配的计算复杂度, 且抗干扰性较强. 最后, 提出了一种在移动条件下, 基于先验约束ICP 的深度点云匹配算法, 加大了测量范围, 避免了目标易被遮挡的问题.通过对实验结果进行分析, 本文深度测量方法可以有效避免遮挡问题的影响, 实现较大场景全向深度信息的获取. 而且, 深度测量精度较高, 并随着参考面设置数量的增加, 测量精度可以进一步提高.下一步, 已经研究采用移动小车平台代替目前的位移系统, 以实现更大范围场景的深度测量与感知.References1 Zhang H, Reardon C, Parker L E. Real-time multiple hu-man perception with color-depth cameras on a mobile robot.IEEE Transactions on Cybernetics, 2013, 43(5): 1429¡14412 Tai Y C, Gowrisankaran S, Yang S N, Sheedy J E, HayesJ R, Younkin A C, Corriveau P J. Depth perception fromstationary and moving stereoscopic three-dimensional im-ages. In: Proceedings of the SPIE | The International So-ciety for Optical Engineering. Burlingame, California, USA:SPIE, 2013. 8648¡86583 Xu Yu-Hua, Tian Zun-Hua, Zhang Yue-Qiang, Zhu Xian-Wei, Zhang Xiao-Hu. Adaptively combining color and depthfor human body contour tracking. Acta Automatica Sinica,2014,40(8): 1623¡1634(徐玉华, 田尊华, 张跃强, 朱宪伟, 张小虎. 自适应融合颜色和深度信息的人体轮廓跟踪. 自动化学报, 2014, 40(8): 1623¡1634)4 Jung B, Sukhatme G S. Real-time motion tracking from amobile robot.International Journal of Social Robotics, 2010,2(1): 63¡785 Guo Chun-Zhao, Yamabe Takayuki, Mita Seiichi. Drivableroad boundary detection for intelligent vehicles based onstereovision with plane-induced homography. Acta Auto-matica Sinica, 2013, 39(4): 371¡380(郭春钊, 山部尚孝, 三田诚一. 基于立体视觉平面单应性的智能车辆可行驶道路边界检测. 自动化学报, 2013, 39(4): 371¡380)6 Wei B Y, Gao J Y, Li K J, Fan Y, Gao X S, Gao BQ. Indoor mobile robot obstacle detection based on linearstructured light vision system. In: Proceedings of the 2009IEEE International Conference on Robotics and Biomimet-ics. Bangkok, Thailand: IEEE, 2009. 834¡8397 Susperregi L, Sierra B, Castrillon M, Lorenzo J, Mart¶³nez-Otzeta J M, Lazkano E. On the use of a low-cost thermalsensor to improve Kinect people detection in a mobile robot.Sensors, 2013, 13(11): 14687¡147138 Luo Bin, Wang Yong-Tian, Shen Hao, Wu Zhi-Jie, Liu Yue.Overview of hybrid tracking in augmented reality.Acta Au-tomatica Sinica, 2013, 39(8): 1185¡1201(罗斌, 王涌天, 沈浩, 吴志杰, 刘越. 增强现实混合跟踪技术综述.自动化学报, 2013, 39(8): 1185¡1201)9期 贾同等: 一种基于全向结构光的深度测量方法 15619 Firoozfam P, Negahdaripour S. A multi-camera conicalimaging system for robust 3D motion estimation, position-ing and mapping from UAVs. In: Proceedings of the 2003IEEE Conference on Advanced Video and Signal BasedSurveillance. Miami, FL, USA: IEEE, 2003. 99¡10610 Yi S, Choi B, Ahuja N. Real-time omni-directional distancemeasurement with active panoramic vision.InternationalJournal of Control, Automation, and Systems, 2007, 5(2):184¡19111 Yi S, Suh J, Hong Y, Hwang D. Active ranging system basedon structured laser light image. In: Proceedings of SICE An-nual Conference. Taipei, China: IEEE, 2010. 747¡75212 Matsui K, Yamashita A, Kaneko T. 3-D shape measure-ment of pipe by range ¯nder constructed with omni-directional laser and omni-directional camera. In: Proceed-ings of the 2010 IEEE International Conference on Roboticsand Automation (ICRA). Anchorage, Alaska: IEEE, 2010.2537¡254213 Orghidan R, Salvi J, Mouaddib E M. Modelling and accu-racy estimation of a new omnidirectional depth computationsensor.Pattern Recognition Letters, 2006, 27(7): 843¡85314 Zhou F Q, Peng B, Cui Y, Wang Y X, Tan H S. A novel laservision sensor for omnidirectional 3D measurement.Optics &Laser Technology, 2013, 45(2): 1¡1215 Tang Yi-Ping, Wu Li-Juan, Zhou Jing-Kai. 3D active stereoomni-directional vision sensing technology.Chinese Journalof Computers, 2014, 37(6): 1289¡1300(汤一平, 吴立娟, 周静恺. 主动式三维立体全景视觉传感技术. 计算机学报, 2014, 37(6): 1289¡1300)16 Jia T, Shi Y, Zhou Z X, Chen D Y. 3D depth informationextraction with omni-directional camera. Information Pro-cessing Letters, 2015, 115(2): 285¡29117 Xu J, Liu S L, Wan A, Gao B T, Yi Q, Zhao D P, LuoR K, Chen, K. An absolute phase technique for 3D pro¯lemeasurement using four-step structured light pattern.Op-tics and Lasers in Engineering, 2012, 50(9): 1274¡128018 Yang W Z, Zhang G F, Bao H J, Kim J, Lee H Y. Consistentdepth maps recovery from a trinocular video sequence. In:Proceedings of the 2012 IEEE Conference on Computer Vi-sion and Pattern Recognition. Providence, RI, USA: IEEE,2012. 1466¡147319 Zhang J, Kan C, Schwing A G, Urtasun R. Estimating the3D layout of indoor scenes and its clutter from depth sen-sors. In: Proceedings of the 2013 IEEE International Confer-ence on Computer Vision. Sydney, Australia: IEEE, 2013.1273¡128020 Chen Wang, Zhang Mao-Jun, Xiong Zhi-Hui, Lou Jing-Tao.Horizontal line 3D reconstruction from two image pointsbased on single Catadioptric omni-directional image.Jour-nal of Image and Graphics, 2010, 15(12): 1796¡1803(陈旺, 张茂军, 熊志辉, 娄静涛. 基于单幅折反射全向图的水平直线3维重建. 中国图象图形学报, 2010, 15(12): 1796¡1803)21 Toda Y, Kubota N. Self-Localization based on multireso-lution map for remote control of multiple mobile robots.IEEE Transactions on Industrial Informatics, 2013, 9(3):1772¡178122 Lee S O, Lim H, Kim H G, Ahn S C. RGB-D fusion: Real-time robust tracking and dense mapping with RGB-D datafusion. In: Proceedings of the 2014 IEEE/RSJ InternationalConference on Intelligent Robots and Systems (IROS 2014).Chicago, IL, USA: IEEE, 2014. 2749¡275423 Li Zhong-Wei, Shi Yu-Sheng, Zhong Kai, Wang Cong-Jun. Projector calibration algorithm for the structured lightmeasurement technique.Acta Optica Sinica, 2009, 29(11):3061¡3065(李中伟, 史玉升, 钟凯, 王从军. 结构光测量技术中的投影仪标定算法. 光学学报, 2009, 29(11): 3061¡3065)24 Dai Xiao-Lin, Zhong Yue-Xian, Yuan Chao-Long, Ma Yang-Biao. Research on projector calibration in one-camera 3-Dmeasurement systems.Machinery Design & Manufacture,2008, (8): 194¡196(戴小林, 钟约先, 袁朝龙, 马扬飚. 单摄像机结构光扫描系统中投影仪标定技术. 机械设计与制造, 2008, (8): 194¡196)25 Luo H F, Gao B T, Xu J, Chen K. An approach for struc-tured light system calibration. In: Proceedings of the 2013IEEE 3rd Annual International Conference on Cyber Tech-nology in Automation, Control and Intelligent Systems (CY-BER). Nanjing, China: IEEE, 2013. 428¡43326 Chen X B, Xi J T, Jin Y, Sun J. Accurate calibration for acamera-projector measurement system based on structuredlight projection. Optics and Lasers in Engineering, 2009,47(3¡4): 310¡31927 Salvi J, Pages J, Batlle J. Pattern codi¯cation strategies instructured light systems.Pattern Recognition, 2004, 37(4):827¡84928 Zhang S, Yau S T. High-speed three-dimensional shapemeasurement system using a modi¯ed two-plus-one phase-shifting algorithm. Optical Engineering, 2007, 46(11):11360329 Kim D, Ryu M, Lee S. Antipodal gray codes for structuredlight. In: Proceedings of the 2008 IEEE International Con-ference on Robotics and Automation. Pasadena, CA, USA:IEEE, 2008. 3016¡302130 Tehrani M A, Saghaeian A, Mohajerani O R. A new ap-proach to 3D modeling using structured light pattern. In:Proceedings of 3rd International Conference on Informationand Communication Technologies: From Theory to Appli-cations. Damascus: IEEE, 2008. 1¡531 Cheng F H, Lu C T, Huang Y S. 3D Object scanning systemby coded structured light. In: Proceedings of the 3rd Inter-national Symposium on Electronic Commerce and Security.Guangzhou: IEEE, 2010. 213¡21732 Fechteler P, Eisert P. Adaptive colour classi¯cation for struc-tured light systems. IET Computer Vision, 2009, 3(2):49¡591562 自 动 化 学 报 4133 Pages J, Salvi J, Collewet C, Forest J. Optimised de Bruijnpatterns for one-shot shape acquisition.Image and VisionComputing, 2005, 23(8): 707¡72034 Yu Qing-Cang. A Study on Symbol M-Array Based 3D De-tection Approach Utilizing Binary Structured Light [Ph. D.dissertation], Zhejiang University, China, 2007(喻擎苍. 基于符号M阵列二值结构光的三维检测方法的研究[博士学位论文], 浙江大学, 中国, 2007)35 Jia T, Zhou Z X, Gao H H. Depth measurement based oninfrared coded structured light. Journal of Sensors, 2014,2014: Article ID 852621贾同 博士, 东北大学信息科学与工程学院副教授. 主要研究方向为图像处理,计算机视觉, 模式识别. 本文通信作者.E-mail: jiatong@ise.neu.edu.cn(JIA Tong Ph. D., associate pro-fessor at the College of InformationScience and Engineering, NortheasternUniversity. His research interest coversimage processing, computer vision, and pattern identi¯ca-tion. Corresponding author of this paper.)吴成东 博士, 东北大学信息科学与工程学院教授. 主要研究方向为图像处理,无线传感器网络, 建筑智能化技术, 机器人控制.E-mail: wuchengdong@ise.neu.edu.cn(WU Cheng-Dong Ph. D., pro-fessor at the College of InformationScience and Engineering, NortheasternUniversity. His research interest covers image processing,wireless sensor networks, intelligent building technology,and robotic control.)陈东岳 博士, 东北大学信息科学与工程学院副教授. 主要研究方向为图像处理, 计算机视觉, 模式识别.E-mail: chendongyue@ise.neu.edu.cn(CHEN Dong-Yue Ph. D., asso-ciate professor at the College of In-formation Science and Engineering,Northeastern University. His researchinterest covers image processing, computer vision, and pat-tern recognition.)王炳楠 沈阳建筑大学硕士研究生. 主要研究方向为图像处理与计算机视觉.E-mail: wangbingnan@163.com(WANG Bing-Nan Master studentat Shenyang Jianzhu University. His re-search interest covers image processingand computer vision.)高海红 东北大学硕士研究生. 主要研究方向为图像处理与计算机视觉.E-mail: dzgaohaihong@163.com(GAO Hai-Hong Master studentat Northeastern University. Her re-search interest covers image processingand computer vision.)房卓群 东北大学博士研究生. 主要研究方向为图像处理与计算机视觉.E-mail: fangzhuoqun@163.com(FANG Zhuo-Qun Ph. D. candi-date at Northeastern University. His re-search interest covers image processingand computer vision.)

[返回]
上一篇:基于WEB信息的关系型信息错误自动检测与修复技术
下一篇:基于机器学习的SPIT可疑度评估方法