双目立体视觉系统的技术分析与应用前景

开篇：润墨网以专业的文秘视角，为您筛选了一篇双目立体视觉系统的技术分析与应用前景范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要：对双目立体视觉技术的实现过程作了分析，介绍了摄像机标定、特征点提取和立体匹配的实现方法及应用弊端，特别是给出了一种实用而有效的三维重建方法，并对双目体视技术的应用和发展做了分析与展望。

关键词：双目立体视觉； 摄像机标定；立体匹配；三维重建

中图分类号：TP37 文献标识码：A文章编号：1009-3044(2011)09-2145-03

The Analysis of the Technology and the Future Application of the Binocular Stereo Vision System

CHENG Huang-jin

(Huainan Union University, Huainan 232038, China)

Abstract: This article makes an analysis of the implementation process of the binocular stereo vision technology，presents implementation methods and drawbacks of camera calibration, feature extraction, stereo matching, especially gives a practical and effective 3D reconstruction method ，the article also analyses and prospects the future application and development of this technology.

Key words: binocular stereo vision; camera calibration; stereo matching; 3D reconstruction

双目立体视觉(Binocular Stereo Vision)是计算机视觉的一种重要形式，它是基于视差原理，由不同位置的A、B两台或者同一位置的一台摄像机(CCD)经过位置移动或者旋转来拍摄同一幅场景，通过计算对应点在两幅图像间的位置偏差，来获取物体三维几何信息的方法。和其他类的体视方法相比，如投影式、透镜板式、全息照相式等三维成像技术，双目立体视觉测量方法具有低成本、高效率、结构简单、精度合适等优点。自上世纪80年代创立以来，经过近几十年的发展，双目立体视觉已经成为计算机被动测距方法中最重要的距离感知技术，已在工业检测、机器人导航、医学机器成像、控制与检测位姿、以及在军事和航空测绘上等众多领域中得到了越来越广泛的应用。

1 双目体视系统的实现

双目立体视觉技术的实现一般可分为：图像获取、摄像机标定、特征提取、图像匹配和三维重建几个步骤，以下是各个过程的具体实现方法和特点。

1.1 图像获取

图像获取指的是先通过多个或单个摄像机从不同位置拍摄某物体，得到至少两幅的二维图像，再利用立体视觉方法对此图像进行处理，最终获取同一场景的三维几何信息的过程。立体视觉可在多种条件下灵活地测量景物的三维立体信息，在计算机被动测距方法中，它是一种最重要的距离感知技术，在非接触测量中占有越来越重要的位置。

双目体视系统的图像获取对应的针孔模型如图1所示。在理想状态下，摄像机C1与C2的光轴互相平行，内部参数和角距也都相等，并且图中的二维成像平面x1o1y1和x2o2y2重合，其中P1与P2分别是空间点P在C1与C2上的成像点。但在实际应用中，需要考虑两台摄像机的内部参数不完全相同带来的影响，要精确分析双目体视系统的结构参数与测量精度之间的关系，并对某一特定点进行三角测量试验，进而得到两台摄像机光轴夹角与该点测量误差之间的函数关系。通常在两摄像头光轴夹角一定的情况下，测量误差将随着被测坐标系与摄像头坐标系之间距离的增大而增大，在满足测量范围的前提下，一般选择两CCD之间的正向夹角为锐角，且大于45度。

1.2 摄像机标定[2,4-5]

对双目体视而言，摄像机或数码相机是利用计算机技术对物理世界进行重建前的基本测量工具，由于摄像机参数会因为组合过程、环境温度、零件更换等发生变化，为了准确定位，摄像机必须标定。摄像机标定是实现立体视觉技术的关键步骤之一，标定的参数有关于光学与几何性质的内部参数和涉及坐标系三维位置与方向的外部参数，为了得到两个摄像机的内、外参数，通常先采用单摄像机的标定方法，再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。

标定方法分精度低但简单快速的线性标定法和考虑畸变参数但复杂繁琐的非线性标定法。在单摄像机标定方法中，目前常用的主要有：直接线性变换法、传统设备标定法、透视变换矩阵法和线性与非线性结合法等。在双摄像机标定中，是否有精确的外部参数决定着最终的标定结果，受结构配置的准确性和摄像机距离与视角的影响，一般都需要确定8个以上的已知世界坐标点，才能得到比较满意的参数矩阵。此外，双摄像机标定中除了考虑焦距、主点坐标、线性误差等以外，还需考虑径向、切向和离心畸变，以及镜头校正、测量范围等问题，应用范围受到了很大的限制。目前，通用性较好的有基于神经网络的双目立体视觉摄像机标定法，有采用线性与非线性变换结合标定法等，前者的基本思想是先对摄像机进行线性标定，然后通过网络训练建立起三维空间点位置补偿的多层前馈神经网络模型。后者是先利用直接线性转换模型(DLT)得到投影矩阵，通过约束条件分解参数矩阵，分别求出摄像机内部参数；然后将得到的标定参数作为初值，代入非线性方程进行优化，得到精确的标定参数。

1.3 特征点提取[1-3]

测量中，测量精度将直接受到特征点的二维图像坐标能否准确提取的影响，需要提取的特征点应当与传感器类型及抽取特征所用技术等相适应，并且要具有足够的鲁棒性和一致性。因为在图像获取过程中，存在一系列的噪声源，为了显著的改进图像质量，使图像征点更加突出，通常在进行特征点像的坐标提取前，要对获取的图像进行预处理。

目前，常见的特征点提取方法有边缘提取法、兴趣算子法、最小灰度差法等。其中边缘提取法和兴趣算子法对光照条件比较敏感，当物体相邻面的灰度近似时，这些方法能够在较低的精度要求下，概括且有效地提取特征点，然而当某一像素存在于局部灰度出现差异的区域，或者存在于具有不同灰度值的几个相邻区域之间时，这些方法也往往会将其作为边缘特征点提取出来。而最小灰度差法是对数字图像的每一个原像素，分别考察与其同行、同列或对角相邻的若干个像素的灰度变化，再选取这些像素与原像素间灰度差的最小值来作为特征点算子值的一种方法。它可以最大程度的消除物体相邻面及物体与背景间存在的灰度差异而造成的影响，对外界光照条件具有较强的适应性，但一致性较差。

1.4 立体匹配[1-2,6]

立体匹配是双目体视技术中最重要，也是最复杂的一步。当二维图像特征点提取后，关键任务是匹配，也就是寻求左(右)图像中的每个特征点在右(左)图像中的对应点。由于将空间三维场景投影为平面二维图像时，同一景物在不同视点下的图像中存在着明显差异，并且场景中的噪声干扰、光照条件、景物的物理特性与几何形状、摄像机特性等诸多变化因素都将被综合到单一的图像灰度值中，因此仅由灰度值来定性以上这些因素和特征是十分困难的。为了求解对应和减少错误匹配，人们建立了诸如唯一性约束、连续性约束、外极线约束、一致性约束等许多约束，然而随着约束条件的增加，匹配难度相应增大，匹配的选择性空间相应缩小。根据匹配基元的不同，立体匹配的算法可分为区域匹配、特征匹配和相位匹配三大类。

区域匹配算法是利用局部窗口之间灰度信息的相关程度，通过区域匹配建立特征点与对应点之间的相互关系的一种方法，它在变化平缓且细节丰富的地方可以达到较高的精度，但该算法的计算量大、速度慢，并且存在着匹配窗大小难以选择的缺点。与区域匹配相比，特征匹配则不直接依赖于灰度，利用对高频噪声不敏感的模型来提取和定位特征，因此具有较强的抗干扰性，算法简便且高效，但匹配结果的精确度受到特征提取和定位过程的直接影响，特征在图像中的稀疏性决定着特征匹配只能得到稀疏的视差场。相位匹配是近二十年才发展起来的一类匹配算法，它将相位作为匹配基元，很好的抑制了图像的高频噪声，适于并行处理，能获得亚像素级精度的致密视差，但也存在着相位奇点和相位卷绕的问题。

1.5 三维重建[1,6]

在完成了图像获取、摄像机标定、特征点提取和立体匹配之后，就得到了任一被测点在两个图像中的对应齐次坐标和两摄像机的参数矩阵，接下来就是对空间点进行三维重建。

结合上述图1，用两个参数标定过的摄像机同时观察空间物体表面上任意一点P，在确定了摄像机图像上的共轭对应点P1和P2是同一空间点P的图像点后，P点的空间位置就可以由两直线O1P1与O2P2的交点来唯一确定，其中O1，O2分别为两摄像机的光心。

设摄像机的投影矩阵为：

代入下式：

其中(x1,y1,1)与(x2,y2,1)分别为P1与P2在各自图像中的齐次坐标；(X,Y,Z,1)为P点在世界坐标系下的齐次坐标；ωi(i=1,2)为非零参数，αimn(m=1,2,3;n=1,2,3,4)为投影矩阵Ai(i=1,2)中的元素，它们与摄像机的位置及成像系统参数有关，可通过摄像机标定来确定。

摄像机标定后，根据式（1）和被测点P在摄像机像面上的像点坐标(x1,y1)与(x2,y2)，可将上式变形为：

（2）

即：

（3）

这样就可以求出未知点P的三维空间坐标(X,Y,Z)。

在测量过程中，当标定参照物与被测物体的相对位置始终保持不变的情况下，也可以只用一个摄像机，采用多个不同位置分别拍摄的方法，得到同一物体的多幅二维图像。

2 双目体视系统的发展[1,6]

正如本文引言所述，双目立体视觉系统发展到现在，已经在很多领域得到了广泛应用。例如日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统；东京大学将实时双目立体视觉和机器人整体姿态信息集成，开发了仿真机器人动态行走导航系统；华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统，使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位和导航；浙江大学机械系完全利用透视成像原理，采用双目体视方法实现了对多自由度机械装置的动态、精确位姿检测；哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航等等。

但就双目立体视觉技术的发展现状而言，要构造出类似于人眼的通用双目立体视觉系统，还有很长的路要走，未来的发展趋势可总结如下：

1）如何建立更有效的双目体视模型，能更充分地反映立体视觉不确定性的本质属性，为匹配提供更多的约束信息，降低立体匹配的难度；

2）探索新的适用于全面立体视觉的计算理论和匹配策略，选择有效的匹配准则和算法结构，以解决存在灰度失真、几何畸变（透视、旋转、缩放等）、噪声干扰、特殊结构（平坦区域、重复相似结构等）及遮掩景物的匹配问题；

3）算法向并行化发展，提高速度，减少运算量，增强系统的实用性；

4）强调场景与任务的约束，针对不同的应用目的，建立有目的的和面向任务的体视系统。

参考文献：

[1] 管业鹏,童林夙.双目立体视觉测量方法研究[J].仪器仪表学报,2003,24(6):581-584.

[2] 隋婧,金伟其.双目立体视觉技术的实现及其进展[J].电子技术应用,2004(10):4-6.

[3] Barnard S T, Thompson W B.Disparity Analysis of Images IEEE Trans,1980,PAM I-2(4):333-340.

[4] Golub G, Loan C van, Matrix Computations[M].Balti-more,Maryland：The John Hopkins University Press,1996.

[5] 蔡健荣,赵杰文.双目立体视觉系统摄像机标定[J].江苏大学学报:自然科学版,2006,27(1):6-9.

[6] 余洪山,王耀南.主动立体双目视觉平台的设计与实现[J].工业仪表与自动化装置,2004(1):61-63.