基于对齐与优化的图像拼接
开篇：润墨网以专业的文秘视角，为您筛选了一篇基于对齐与优化的图像拼接范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘要:图像拼接技术将存在重叠区域的多幅图像经过配准和融合后得到单幅宽视场图像。由于误差的积累,多幅图像拼接后在重叠区域会有明显的拼接痕迹,所以需要对拼接后的图像进行优化。首先研究了变换矩阵及其参数,然后提出一种图像对齐方法,完成图像拼接,最后用全局优化策略消除累积误差。实验证明,该方法在存在较大光照强度变化,重叠区域小的情况下能够鲁棒地完成多幅图像的拼接。
关键词:图像拼接;图像对齐;全局优化;特征匹配;变换矩阵
中图分类号:TP391文献标识码:A文章编号:1009-3044(2010)08-1966-03
Image Stitching based on Alignment and Optimization
LIU Wei, XIE Kai
(Beijing Institute of Graphic Communication, Beijing 102600, China)
Abstract: Multiple images with overlap region are registered and fused into a wide view image by Image stitching technology. Because of the error accumulation, there will be obvious stitching hint in the overlap region after multiple image mosaic, so it calls for optimization to the image after stitching. First, the transformation matrix and its parameters are studied, and then a method of image alignment is proposed to complete image stitching, at last global optimization strategy are used to eliminate the accumulated error. Experiments show that this method can stitch multiple images robustly with the exist of large intensity change, little overlapping region.
Key words: Image stitching; alignment;optimization; feature matching; transformation matrix
图像拼接充分利用存在重叠区域的两幅图像的冗余信息和互补信息,获取对同一场景更精确、更可靠的描述,已广泛应用于军事、遥感、机器人视觉及医学图像处理等领域。国内外对于图像拼接各细节的研究已取得了一些成果[1-2],但对于视差及光照变化较大的图像序列的拼接效果还有待提高。针对以上现状,本文依据特征匹配方法对具有重叠区域的图像两两对齐,然后提出一种全局优化拼接算法,最后消除拼缝完成拼接。
1 图像间的变换关系与变换矩阵
相机成像过程可以理想化为小孔成像,如图1所示。
图2所示为不同角度拍摄时,平面场景中的一点在两像面中的成像。目标场景中的任何一点,在图像l上的像点位置确定后,其在图像2上的像点也是唯一确定的。融合时,只要找出图像1与图像2上重叠部分的变换关系,将图1根据此变换投影到图像2上,再进行图像融合即可。
像点(xoi,yoi)与p点满足关系:
其中,(x0,y0,z0)为P点在相机1的坐标系下的坐标 , f为相机1的焦距。同样,P点在相机2下也满足这种变化关系。两相机的坐标系间存在一个矩阵变换,经过推导,两个像面对应像点之间满足如下投影变换关系:
\此投影变换比平移、旋转、缩放等更具有一般性,应用更广。平移对应于矩阵中的h11=h22=1并且h12=h21=h31=h32=0的情况,h13h23为平移量; 旋转对应于h13,h23,h31,h32为零并且左上角为旋转矩阵的情况[3];
将公式(2)所表示的齐次坐标展开:
(4)
即一对特征点可以确定两个方程,而变换矩阵共有八个参数,若要融合不同角度拍摄的两幅图像(下文称为图像1和图像2),理论上4对匹配点(不存在三点共线)即可。更一般地,当对应点对为n(n>4)个时可利用最小二乘法求解。只要矩阵秩不小于4,则存在矩阵H的最小二乘解[4]。
2 图像对齐
Harris[5]等提出的一种Harris角点检测方法在平移、旋转、均匀的光照变化中都可以鲁棒地检测到两幅图像中对应的特征点,但此方法检测到的大量特征点中包含很多噪声点,因此实验中先用方差为0.6的高斯窗口处理图像,以消除噪声。
首先使用Harris角点检测方法提取特征点。Harris检测算子如下:
R(x,y)=Det[C]-k*Trace2(C)(k取0.04)
其中 ,Ix,Iy,Ixy分别是图像经过高斯滤波后在x,y方向的偏导以及二阶混合偏导。只要像素点的R(x,y)大于预先设定的阈值T,就认为其为特征点。
然后进行特征点匹配。此处特征点匹配主要分为两步:首先利用不相似性测度方法SSD(sum of square differences)和相似性测度方法NCC(normalized cross correlation)找到初始匹配点对;然后使用松弛匹配算法使匹配点对满足唯一性约束。
2.1 初始匹配
设图像I1中窗口w和图像I2中对应区域T(w),则两幅图像的SSD不相似测度如下[6]:
其中w(x,y)是窗口w上的权重函数,一般取1或高斯函数。
两幅图像间的相似性测度如下:
其中I1,I2是图像I1和I2中窗口区域的均值。
对图像I1中任一点,在I2中搜索最满足上述测度条件的角点,以该角点作为图像I1所给定角点的匹配点,这样就得到一组匹配点集S1,同理在I1中得到I2中任一点对应的匹配点集S2,就完成初始匹配。
2.2 唯一性约束
上述方法得到的初始匹配集可能存在匹配的非唯一性,即多个特征点对应一个点或一点对应多个特征点,要实现精确拼接就要保证匹配的唯一性,此处采用松弛算法。
首先,对匹配对(m1,m2),用匹配强度Sm(m1,m2)来衡量其邻域内的特征点对它们的支持程度[7]。然后用P(m1,m2)反映此匹配对在多大程度上是其邻域内唯一的正确匹配对。其中
且S'm(m1,m2)为(m1,m2)邻域内仅次于Sm(m1,m2)的最大匹配强度。最后构造两个数组,分别存储Sm(m1,m2)和P(m1,m2)最大的若干对候选匹配对,每次迭代选取二者中前60%的匹配对作为下次循环的输入即可。
3 全局优化
得到图像间的变换关系后,就可以利用它们产生拼接图像。在将新图像拼接到以参考帧为首的拼接图像上时,会产生图像变形,因为随着拼接图像的增加,拼接图像尾部会有很大的累积误差[8]。因此不仅要拼接相邻的两幅图像,还要对拼接图像进行全局优化。
Shum[9]提出一种全局拼接策略,并在一系列图像间建立对应点匹配。Shum等[10]综合全局对齐和局部对齐方法消除误差。本文采用一种基于特征块的全局优化策略,同时对齐所有图像。
对图像序列中相邻的具有重叠区域的三幅图像I0,I1,I2,通过相关文献[11]的方法得到相邻两幅图像间的变换矩阵后,得到它们的两两平移量分别为(x10,y10),(x21,y21)。现以I0图像作为参考帧,将I1,I2拼接到I0上进行局部优化。
在I1,I2上划分k*k的网格(网格要小到其中最多有三个特征点),从每个网格中选取一个代表点,具体方法为:如果网格内部有一个特征点,则以此特征点作为代表点;如果有多个(小于三)特征点,则进行插值处理;如果没有特征点,则以网格的中心点作为代表点。然后按照葛城等[12]的方法进行迭代计算。
对有n副图像的图像序列,将每三幅图像的后两幅拼接到第一副,以完成局部对齐,得到两个单应矩阵的局部优化矩阵。共可以得到(n/3+1)个局部优化矩阵,最后,利用这些局部优化矩阵进行全局优化[13]。
4 实验结果
按照本文的方法,得到的拼接图像是全局一致的,如图3所示。原图为图像序列中的三幅图像,且重叠区域小、光照强度有所变化。由实验结果可知,本文提出的方法可行。
5 结束语
本文提出一种图像对齐和全局优化相结合的拼接方法,首先求出图像间的单应矩阵,再对图像进行对齐,最后利用对齐结果进行全局优化。实验证明,此方法在光照强度变化、重叠区域小的情况下可以很好的完成图像拼接,具有实用价值。
参考文献:
[1] Su M S, Hwang W L, Cheng K Y. Analysis on multi-resolution mosaic images[J].IEEE Transactions on Image Processing,2004, 13(7):952-959.
[2] 解凯,郭恒业,张田文.图像Mosaics技术综述[J].电子学报,2004,32(7):630-634.
[3] 曹红杏.基于特征的图像拼接技术研究[D].中国科学院研究生院.2008
[4] 钱为.基于角点特征的图像配准技术研究[D].成都电子科技大学.2009
[5] Harris C,Stephen sM.A Combined Corner and Edge Detector[]A.Proceedings of the 4th A lvey Vision Conference[C].1988.
[6] 李冬梅.基于角点匹配的图像拼接技术[J].电子器件.2008,31(3):920-921
[7] Zhang H, Sara R. A linear method for trinocular rectification. Research Report. CTU-CMP-2002-09,Prague:Center for Machine Perception,Czech Technical University.2002.
[8] David Peter Capel,Image Mosaicing and Super-resolution [D]. Oxford University.2001.13-14
[9] Shum H., Szeliski, R., "Panoramic Image Mosaics," Microsoft Research MSR-TR-97-23 (1997).
[10] Shum H Y, Szeliski R. Construction and refinement of panoramic mosaics with global and local alignment[J]. Proceedings of IEEE International Conference On Computer Vision.1998:953-958.
[11] Zoghlami I, Faugeras O,Deriche R. Using geometric corners to build a 2D mosaic from a set of images".Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, June 1997.pp. 420-425.
[12] 葛城,贾云德,刘鹏, 等. 基于多域分析和全局优化的鲁棒全景图拼接[C].中国宇航学会深空探测第一届学术会议,2005:359-360.
[13] Wang Hai-ying, Qin Kai-huai.A global optimization approach for construction of panoramic mosaics[J]. Proceedings of SPIE Vol. 749574950F-4.