基于角点特征的自动图像配准
开篇：润墨网以专业的文秘视角，为您筛选了一篇基于角点特征的自动图像配准范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘要 针对图像配准对时间和精度的需求，本文提出适用于角点特征的配准算法：提取两幅图像的角点构造三角形，计算三角形的角度，寻找两幅图像对应的相似三角形，用三角形的顶点坐标求得仿射变换系数，参考图像进行仿射变换，与待配准图像比较相似性，最大相似性对应的变换图像为配准结果。引入强角点和Harris角点对该算法进行验证。与Fourier-Mellin和基于RANSAC寻找匹配点对角点配准算法比较，实验数据表明该算法的快速准确，并具有一定的抗噪性。
关键词 图像配准；点特征；角点；仿射变换；相似三角形
中图分类号TP391.41 TN911.73 TP301.6 文献标识码A
Auto Image Registration Based on Corner Feature
WANG Yan12GAO Xin1XU Jing12
1(Institute of Electronics, Chinese Academy of Sciences, Beijing 100190, China)
2(Graduate University of the Chinese Academy of Sciences, Beijing 100039, China)
【Abstract 】 For the need in time and precision of registration, the article advanced an algorithm based on corner feature that satisfied this need well. Extracted corners in both two images, constructed triangles using these corners, found the similar triangles by computing the angles of each triangle in two images and got the affine transformation coefficients by using the coordinates of six vertexes of two similar triangles in two images. Transformed the reference image using the affine transformation coefficients, compared the similarity of two images, and the transformed image corresponding to the maximum similarity was the registration result. Introduced the strong corner and Harris corner to verify the algorithm. Compared with the Fourier-Mellin and corner registration based on RANSAC, the experiment data demonstrates that the algorithm is fast and accurate and has the ability of anti-noise to some extent.
【Key words】image registration; point feature; corners; affine transformation; similar triangle
0 引 言
图像配准问题是图像处理的一个经典难题，在计算机视觉，模式识别，医学图像处理，自动导航和遥感信息处理等方面有着广泛的军事和民事应用。通过对图像的精确配准，将能更好的进行图像信息融合，目标定位，变化检测，高分辨率图像的重建等后续处理工作，可认为配准结果直接影响后续工作的质量。
现有配准技术主要分为两大类：基于灰度信息的配准和基于特征信息的配准。基于灰度信息的方法有交互信息，交叉相关，相关系数，及整合平方误差[1]等。这些准则依赖图像灰度，易受噪声影响。基于特征的配准[2]，提取图像的特征，融合图像整体和局部信息，提高运算速度。
图像中存在一些与周围像素点有差异的点，如拐点，直线交点等，通过对图像滤波得到这些特征点[3] [4]，常用的点滤波算子有Harris[5]，SUSAN[6]等，这些特征点在线性变换[3]中具有一定的稳定性。因而本文选用点特征作为配准特征。
1 算法描述
线性变换分为刚体变换、仿射变换和投影变换[3]。大多数情况下，配准的两幅图像发生相对平移、旋转或尺度上的变化，仿射变换是这三种变换的综合变换[3]，在配准工作中得到普遍应用[7] [8]。本文采用仿射变换作为配准模型。
1.1 仿射变换
将图像表示为二维坐标，设点 为待配准图像中的一点， 是参考图像中和 对应的一点，它们之间的对应关系为：
(1)
即 (2)
令 (3)
则 为仿射变换矩阵。
当两幅图像之间的像素点满足上述关系式时，则这两幅图像发生了仿射变换[9]。
图1中两个三角形发生仿射变换， ， ， ， 与 构成相似三角形。仿射变换中有六个未知参数需要确定，在同一参考系下，已知点 ， ， ，及 ， ， 的坐标可求出这些未知参数，即在参考图像和待配准图像中找到三对对应点就能得到仿射变换矩阵 。
因此，针对仿射变换提出基于相似三角形的角度不变特性的配准算法，在参考图像和待配准图像中构造三角形，判断它们是否相似，用它们的顶点坐标计算仿射变换的六个参数。
图1仿射变换示意图
Fig.1 the sketch of affine transformation
1.2 点特征选取
图像配准发展过程中，各种各样的点特征被提取出来，如拐点，角点，直线的交点，边界封闭区域的重心等。鉴于角点的普遍应用和良好性能，文中实验使用角点特征。
角点是图像的重要局部特征，在实际图像中，轮廓的拐点、线段的末端等都是角点，具有丰富的信息量，便于测量和表示，能够适应环境光照变化，尤其适用于处理遮挡和几何变形问题等。这些点在保留图像图形重要特征的同时,可以有效地减少信息的数据量,使其信息含量高,有效提高计算速度,有利于图像的可靠匹配,使得实时处理成为可能。
本文实验中采用Harris角点进行算法验证，同时引进一种用于视频跟踪的角点特征--强角点，并同样用强角点对算法进行验证，而Harris角点和强角点又有着密切的联系，因而下面详细介绍这两种点特征提取方法以及它们之间的关系。
1.2.1Harris角点
在角点处，图像的灰度梯度是不连续的，而且在角点临近的区域，梯度有两个或者两个以上的不同值，Harris算子就是根据这个事实提出的。
设以像素点 为中心的小窗口在 方向上移动 ， 方向上移动 ，Harris[5]给出了灰度变化度量的解析表达式：
(4)
即(5)
其中， 为窗口内的灰度变化度量； 为窗口函数，一般定义为 ， 为图像灰度函数，略去无穷小项有：
(6)
即(7)
将 化为二次型有：
(8)
为实对称矩阵：
(9)
通过对角化处理得到：
(10)
当两个特征值均较小时，表明目标点附近区域为“平坦区域”；特征值一大一小时，表明特征点位于“边缘”上；只有当两个特征值均比较大时，沿任何方向的移动均将导致灰度的剧烈变化。Harris的角点响应函数 表达式由此而得到：
， ， (11)
其中： 表示矩阵 的行列式， 表示矩阵的迹。当目标像素点的 值大于给定的阈值时，该像素点即为角点。
Harris算子采用差分求导的方法，运算简单，提取的点特征均匀且合理，具有较高的稳定性和鲁棒性，能够在图像旋转、灰度变化以及噪声干扰等情况下准确的检测特征点，有较高的点重复度和较低的误检率等特征[2] [10]，在基于点特征的配准工作被大量使用[11] [12] [13]。
1.2.2强角点
Shi和Tomasi在[14]中提出用于追踪的新的特征（强角点），极好的解决视频运动跟踪中监控特征提取问题。Shi和Tomasi[14]发现若两个特征值中较小的一个大于给定最小阈值，则会得到在很多情况下比Harris角点性能更好的强角点。鉴于强角点在视频跟踪中的优良表现，将它引入图像配准。在接下来的篇幅中，将分析强角点和Harris角点的关系和区别，验证强角点在图像配准领域将具有更好的表现。
强角点提取步骤如下[14]：
(1). 计算图像 每一像素点 相关矩阵 ： ， ， ， ，其中， ， 分别为 在 方向的梯度，用 算子[4]计算得到， 为窗函数，一般取高斯函数[5]。
(2). 图像中的每一个点计算 的特征值 ， ，保留 ，得到图像的特征值图像。
(3). 给定阀值 ，图像中一点满足 ，则认为该点是强角点。
1.2.3强角点与Harris角点的关系
强角点检测涉及到特征值的计算，但其直观简单的判别准则以及精确的检测结果完全弥补计算带来的时间需求。下面给出具体的数据，证明与Harris角点检测相比，强角点检测准则在很多情况下可以得到性能更充分的角点。
假设图像 最大特征值为 ，取阈值 ，图中点 的两个特征值 ， ， ，可认为 ，该点是边缘点，而 ，将该点判定为角点，且性能很强。
强角点检测则可以很容易避免上述情况， ，表明该点不是角点。由此可见，强角点在检测的准确性方面比Harris角点更加精确。当然，由于阈值的选取，强角点可能发生漏检，但实际应用中，检测错误比漏检带来的不良后果更严重，且很多时候不需要太多角点，例如在图像配准中，为了提高运算速度，常常需要减少角点个数，在这个时候强角点就能发挥更好的作用。在角点过多的情况下，需要采取一些方法减少提取到的角点数，降低计算量。
1.3 算法描述
参考图像 ，待配准图像 ，仿射变换系数矩阵 ，本文算法具体实施过程如下：
(1). 提取 和 的角点，角点坐标分别存于数组 和 ，两幅图像角点个数分别为 和 。
(2). 数组 中不重复选取任意三点 ， ， ，求出 构成的全部三角形两个短边对应的角度 ， ，按从小到大顺序存于数组 ；求解 构成的全部三角形两个较小角度按从小到大顺序存于数组 ；对 构成的任一三角形，与 构成的全部三角形比较 和 ，如果 ，则求解 ，并比较 与 的相似性，存储变换矩阵 和相似系数 ，如果不相等，则进行下一组角度比较。
(3). 保留最大相似系数 及其对应的仿射变换矩阵 。
(4). 对参考图像作仿射变换，得到演示结果。
2 结果演示
实验中采用tower系列图，平移实验采用Harris算子提取角点特征，旋转尺度变化和噪声实验引进强角点提取实验点特征。图像的大小(宽*高)分别为600*450。
角点筛选过程中阈值取为 ( 为图像的最大特征值)。为了抑制角点数目以及距离较近的角点，确保角点距离不小于给定距离 ，使角点保持一定距离，分布更加均匀。实验过程中自动调整角点距离，保证足够多的性能良好的角点用于配准实验，在接下来的算法分析中，将有进一步的说明和数据解释。
鉴于实验中会涉及尺度变换，因而演示结果是参考图像经 变换后的图像。配准结果演示如下：
图2：参考图像 待配准图像配准结果
图2.1平移实验
Fig.2.1 translation experiment
图2.2旋转和尺度变化实验
Fig.2.2 rotation and scale change experiment
图2.3 噪声实验
Fig.2.3 noise experiment
图3：参考图像和待配准图像角点检测结果
图3.1 平移实验角点检测
Fig.3.1 corners detected in translation experiment
图3.2 旋转和尺度变化实验角点检测
Fig.3.2 corners detected in rotation and scale change experiment
图3.3噪声实验角点检测
Fig.3.3 corners detected in noise experiment
在角点检测图中，白色圆点为角点，按其性能强弱进行标注。
通过上面三组图像可以看出，本文提出的算法不仅可以正确找到参考图像和待配准图像发生平移时的公共部分，还可以在尺度变化不大的情况下找到两幅图像的尺度变换关系，并有一定的抗高斯噪声性能。
测试环境为Windows XP下，CPU主频2.93GHz，2GB内存，所有计算都在短时间内完成，且配准结果均与预期结果完全吻合。每种情况进行70次运算，平均运算时间（单位：毫秒ms）及运行参数选定分见表1和表2。
表1平均运算时间（ ）
平均运行时间(ms) 平移 旋转、尺度变化加入高斯噪声
tower 98.672 121.339 213.267
表2角点之间最小距离
最小距离 平移旋转、尺度变化 加入高斯噪声
tower 120．0120．0 120．0
2.1 配准结果分析
tower图像三组实验的最小距离为120.0，角点不够丰富，所以在噪声实验中，待配准图像中检测到的角点数相比参考图像多导致运算时间高于其它两组实验，因而接下来工作中将考虑在配准工作前进行去噪步骤，以降低噪声对角点检测的影响。
2.2 与其它配准算法比较
为了进一步表明本文算法快速有效，设计了一组比较实验， Fourier-Mellin，基于RANSAC[15]寻找匹配点对的Harris角点匹配以及本文算法，配准上述两组测试图片，比较结果以是否配准和配准时间的形式给出，具体数据见表3。
表3 三种配准算法比较结果
平均运行时间(ms) FourierMellinHarris配准本文算法
tower 平移
旋转、尺度变化
加入高斯噪声 2159.746 2801.317 98.672
未配准未配准 121.339
未配准未配准 213.267
由表中给出的三种方法的比较结果可以看出，相比前两种配准算法，本文算法无论在计算时间还是在准确性方面都有很好的表现。
3 算法优化
在实验过程中，自动调整角点之间的最小距离改变角点个数，确保角点个数保持在6~20之间，大幅度降低计算时间，增强该算法实用性。最小距离初始值选取，可根据图像大小进行估量，例如可将初值设定为图像宽度的四分之一。
在判断 和 是否相等时，考虑计算机的实际精度，允许一定误差，即
(12)
（实验中取 ）
满足这个不等式的两个三角形被认为是相似的。也可根据实际情况放宽要求增大 ，但会增大计算量。
通过以下三个方面的优化，提高配准正确率和运算速度：
1.构造三角形过程，先判断三个点是否在一条直线上，如果在，则不能构成三角形就不需进行下面求角度的计算，减少多余运算。
2.在病态三角形问题，给定角度阈值 ，当不等式 和 同时满足时，则认为该三角形是非病态的，进行相应的计算，减少对病态三角形的相关计算，降低错误配准率，提高运算速度。实验中取 。
3.在比较三角形是否相似时，可将两个数组中能够构成的三角形的较小的两个角度求出，存储于对应的数组中，并存储对应的三角形顶点坐标，避免三角形及其角度的重复计算，节约运算时间。
本文算法存在极大的实用价值和一定的改进空间。为了突显算法的优越性，实验中采用的相似性准则是两幅图像灰度值的绝对差分范数即灰度值之差的 范数[16]，没有构造特殊的相似性准则，为了达到更加精确和快速的配准，寻找更加合适的相似性判断准则，更进一步降低计算量是下一步工作的重点。
整个实验是自动配准，没有人工参与。接下来的工作，将引进其它点特征用于本文算法，并在点特征提取步骤之前，加入点特征预分析，选取适合配准情况的点特征，以达到更加优良的配准效果。
4 结 论
针对图像配准的准确性和计算速度的要求，本文提出基于图像点特征，寻找两幅图像中由点特征构造的相似三角形，求得匹配特征点对及其对应的仿射变换系数的配准算法。通过上述实验数据，可以看出本文算法对平移，旋转，尺度变化三种形变有很好的配准效果，且具有一定的抗噪声能力以及运算时间已经可以达到毫秒级的优点。
参考文献[参考资料]
[1] 邓鹏，边缘与灰度信息结合的SAR图像配准方法研究[D][硕士论文]，中国科学院电子学研究所，2003.7.
[2] Winston L, Leung H.,A maximum likelihood approach for image registration using control point and intensity[J],IEEE Transaction on Image Processing,2004,13(8):1115-1127.
[3] 陈显毅，图像配准技术及其MATLAB编程实现[M]，北京：电子工业出版社，2009.
[4] Rafael C. Gonzalez，Richard E. Woods, Digital Image Processing (SecondEdition)[M], Beijing: Publishing House of Electronics Industry，2007.12.
[5] Harris C, Stephens M, A combined corner and edge detector[C]//Proc of 4th Alvey Vision Conference, Manchester, 1988:147-151.
[6] Smith, S.M, Brady, J.M, SUSAN-A new approach to low level image processing[J], International Journal of Computer Vision, 1997, 23(1):45-78.
[7] Bergholm,F., Edge focusing[J], IEEE Trans. Pattern Analysis and Machine Intelligence,1976, 19:726-741.
[8] Steiner, D. and M.E. Kirby, Geometric referencing of LANDSAT images by affine transformation and overlaying of map data[J], Photogrammetria, 1977, 33:41-75.
[9] Ardeshir Goshtasby, 2-D and 3-D image registration[M], America: Wiley-Interscience Publication, 2005:115.
[10] ALKAABI S,DERAVI F, A new approach to corner extraction and matching for automated image registration[C]//25th IEEE International Geoscience and Remote Sensing Symposium, IGARSS 2005.
[11] 刘贵喜，王蕾，基于区域选择和特征点匹配的图像配准算法[J]，Journal of Optoelectronics.Laser, Vol.18 No.8, Aug.2007:999-1002.
[12] 马丽涛，杨丹，张小洪，李博，一种新的基于条件数的图像配准算法[J].中国图像图形学报，2008，13(2)：277-283.
[13] 梁枫，王平，基于角点特征的高精度图像配准算法[J]，重庆理工大学学报（自然科学），Vol.24, No.2, Feb.2010：87-90，94.
[14] J.Shi and C. Tomasi, Good features to track[J], 9th IEEE Conference on Computer Vision and Pattern Recognition, June 1994.
[15] Fischler, M.A. and Bolles, R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J], Communications of the ACM , 1981, 24(6): 381C395.
[16] 胡适耕，泛函分析[M]，高等教育出版社，2001.提供作者简介与联系方式
作者简介: 王燕(1987－),女,硕士研究生,主要研究领域为图像处理，SAR图像配准;高鑫(1966－)男,研究员，硕士生导师,主要研究领域为SAR/InSAR系统分析与应用、SAR图像处理与应用等;徐静(1984－),女, ,硕士研究生,主要研究领域为SAR图像配准.
注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文