基于颜色直方图与SIFT多层次图像匹配检测

开篇：润墨网以专业的文秘视角，为您筛选了一篇基于颜色直方图与SIFT多层次图像匹配检测范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要:图像的匹配检测是计算机视觉领域的重要研究内容,是很多图像理解系统中的重要组成部分。实际应用中,图像的匹配检测受到光照变化,视角变化,局部遮挡,运算量巨大等因素的影响。本文提出了一种先进的半自主基于图像颜色直方图与sift特征的多层次图像匹配检测方法。首先使用图像的颜色直方图特征匹配确定模板图像在待配图像中的候选区语,再在候选区域中寻找SIFT特征,并进行匹配检测。实验结果证明了我们的方法的有效性与鲁棒性。

关键词:颜色直方图 SIFT 图像匹配

1引言

在机器识别事物的过程中,常需将已知图像与陌生图像的全部或部分在空间上对准,根据已知模式的图像在一幅陌生图像中寻找对应该模式的子图像,这一过程就是匹配。我们将已知图像或已知模式的图像称作模板,在陌生图像中可能与它对应的子图称作该模板的匹配子图像[4]。

图像匹配在近几十年来一直是人们研究的热点和难点,它是在变换空间中寻找一种或多种变换,使来自不同时间、不同传感器或者不同视角的同一场景的两幅或多幅图像在空间上一致,目前已经应用于许多领域。

在现实世界应用中,图像匹配检测面临着光照,视角等变化,局部遮挡,背景复杂与运算量巨大等挑战。

图像匹配的方法很多。一般分为两大类。一类是基于灰度匹配的方法,另一类是基于特征匹配的方法。(1) 基于灰度匹配的方法。也称作相关匹配算法,用空间二维滑动模板进行图像匹配,不同算法的区别主要体现在模板及相关准则的选择方面。基于灰度相关匹配能够获得较高的定位精度,但是它的运算量大.难以达到实时性要求。而且,在模板图像与待匹配图像之间存在光照、视角变化、局部遮挡时,基于灰度的匹配方法往往无法取得理想的匹配效果。(2) 基于特征匹配的方法。首先在原始图像中提取特征,然后再建立两幅图像之间特征的匹配对应关系。常用的特征匹配基元包括点、线、区域等显著特征。图像特征相比象素点数量上少得多,特征间的匹配度量随位置变化尖锐,容易找出准确的匹配位置,特征提取能大大减少噪声影响,对灰度变化、形变和遮挡有较强的适应力。是图像匹配的主流发展方向[5]。

针对图像匹配的特点,本文提出了一种基于彩色图像颜色直方图特征与SIFT关键点特征的多层次图像匹配方法。图像的SIFT关键点特征是一种尺度不变的特征,对于光照变化以及仿射变换也具有一定的不变性,但是在源图像较大时提取图像的SIFT特征并进行匹配检测是一件耗时巨大的工作。本文引入颜色直方图特征,首先确定模板图像在待配图像中的候选区域,再在图像的候选区域中求图像的SIFT特征并与模板图像进行匹配检测。大大降低了计算量,也提高了匹配的精度。

全文剩下部分组织如下:第二部分讨论了局部不便特征SIFT;第三部分研究了使用颜色直方图背投获取候选区域的方法;第四部分中详细介绍了SIFT与颜色信息的多层次图像匹配的方法;第五部分分析了实验结果并在第六部分种进行了总结。

2 使用SIFT进行对象定位

SIFT(尺度不便特征变换)[1]在图像中提取点特征并创建一个图像局部内容的高维特征描述符。特征的描述用来在模板图像与测试图像中寻找匹配的特征。提取与描述的步骤都是旋转,尺度,光照和噪声不变的。这个技术同样在一定程度上对视角是不变的。

特征是高斯差分金字塔中的强极值点。提取后,基于特征点局部梯度信息获取特征描述符。

在图像匹配与识别应用中,首先在参考图像中提取出一组SIFT特征并存放在一个数据库中,然后提取新图像的特征并与基于欧式距离与数据库中的特征相比较从而寻找的候选匹配点特征。

SIFT使用一种近似的最近邻方法,最优柱优先(Best Bin First, BBF)算法进行模板图像与待配图像的匹配。这种方法可以高概率返回近似的最近邻。

得到了匹配的关键点特征,使用RANSAC(随机抽样一致性)来过滤掉错配点并且得到基础矩阵来得到变换模型。

SIFT匹配结果如图1所示,SIFT在图像匹配检测中并不够鲁棒,存在一些错配的情况。有两个原因造成了这一点:1,模板图像中没有包含很多blob类的特征点;2,背景复杂、视角变化、光照变化等造成了很多的错配。某些极端的情况下,在使用RANSAC进行野点消除以后,可能不会存留有足够的内点来计算基础矩阵。

本文通过图像的颜色直方图特征信息来增强SIFT在图像匹配检测应用中的鲁棒性。

3 基于颜色直方图背投的对象候选区域选取

颜色是一种全局特征,在给予内容的检索系统中得到了广泛的应用。颜色直方图用来表示图像或者视频帧中图像颜色的分布情况。对于数字图像,颜色直方图是颜色空间中,有在特定范围内的颜色的像素的数目[2][3]。

颜色直方图可以在各种颜色空间上构建。图像的颜色直方图对变换与旋转不变,而且随着视角的变化也是相对不变的。此外,相比于其他的不变特征,颜色直方图计算起来快很多。颜色直方图非常适合用来解决在一帧图像中识别未知位置与旋转的对象的问题。

一般而言,Chi-square,直方图交集,直方图相关以及Bhattacharyya距离常用来计算图像直方图的相似性[4]。公式(1)-(4)是测量直方图相似度的方法。

颜色直方图反向投影是直方图的基础操作之一,用来把图像中的像素值与对应的直方图中的对应柱的值联系起来。颜色直方图反向投影可以用来在复杂的场景中寻找对象而几乎不受相机运动、光照变化、视角变化、尺度变化等影响。

颜色直方图反向投影通过公式(5)计算比率直方图,Mi,Ii分别为模板图像与待配图像的颜色直方图,他们的比与1之间的最小值构成了比率直方图Ri:

(5)

获得Ri后,对颜色值为i的像素,将其值替换为Ri,从而得到一幅灰度图像――概率图像. 如果在一个像素的圆形邻域内,具有最大的空间平均值,则对象的位置定位在此。

给定搜索的对象的尺寸等先验信息的情况下,我们可以选择一个合适的搜索模板。于是我们的方法改进成为基于片的背投方法,可以近似的定位感兴趣对象。我们使用H-S颜色直方图进行直方图反向投影。HSV图像空间更接近于人的视觉系统,H-S颜色直方图对视角变换,仿射变换以及光照变化不敏感。

我们逐个测试了公式(1)-(4)中提出的相似性度量方法。在采用如图1种所示的模板图像与待匹配图像时,实验结果证明,基于片的直方图反向投影方法在采用直方图交集作为相似性度量时,所得到的候选区域最为理想,如图2所示。

在图2中可以看到,基于颜色直方图的方法可以为模板图像选择一个合理的候选区域。此外,基于片的颜色直方图反向投影对于模板图像的旋转,视角变换,尺度变换等并不敏感。然而,基于颜色直方图反向投影的方法在两幅不同的模板图像具有相似的颜色直方图时,无法识别出正确对象。因此,我们把颜色直方图背投方法和SIFT结合起来,形成了一种多层次图像匹配方法。

4 联合颜色直方图与SIFT特征的多层次图像匹配检测

基于对象的视频序列分割方法的流程图见图3。

如图3所示,提出的方法在两个层次上进行:

第一层,计算对象模板的H-S颜色直方图。然后使用基于片的直方图反向投影方法获取模板图像在待匹配图像中的的候选区域。使用直方图交集作为比较两个直方图相似性的度量。

本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文

第二层,分别在模板图像与候选区域内提取SIFT关键点特征。然后在每个关键点计算128维的SIFT描述符。再使用近似最近邻算法――最优柱优先(BBF)算法基于欧几里德距离进行关键点匹配。再使用RANSAC算法消除错配的关键点并且计算基础矩阵。如果没有足够的内点留下来计算基础矩阵,认为待匹配图像中不存在模板图像。

最后,根据基础矩阵,找到待匹配图像中模板图像的匹配字图像。

5 实验结果

这一部分给出了所提出的基于颜色直方图与SIFT特征的图像匹配检测方法的实验结果。如图4所示。

对比图4(d)与(e),可以看到,在用颜色直方图得到候选区域后,匹配结果明显好于在全图直接使用SIFT的结果。在没有任何优化的情况下用来检测关键点的时间从7秒降低到3秒,这主要是因为候选区域原比初始帧要小从而只要计算较少的关键点,减少了计算时间。匹配关键的时间从单独使用SIFT的约250ms每帧降低到本方法的约47ms每帧。而直方图反向投影步骤在多尺度执行的时候可以降低到500ms以内。很明显,本方法显示出运行速度上的巨大改进。

6 结语

本文提出了一种基于颜色直方图与SIFT特征的多层次图像匹配检测方法。本方法采用了基于片的颜色直方图反响投影得到模板图像的候选区域作为SIFT关键点检测匹配的预处理步骤。实验结果证实了提出的方法在的现实世界中复杂情况下的鲁棒性与有效性以及运算时间上的改进。

参考文献

[1] D. Lowe. Distinctive Image Features from Scale-Invariant Keypoints. Intl Jrnl of Computer Vision, 2004.60(2):91110.

[2] J. G. Allen, R. Y. D. Xu, J. S. Jin. Object Tracking Using CamShift Algorithm and Multiple Quantized Feature Spaces. Pan-Sydney Area Workshop on Visual Information Processing VIP2003.

[3] J. Huang, S. Ravikumar, M. Mitra, W.J.Zhu, R. Zabih. Spatial Color Indexing and Applications. Intl Jrnl of Computer Vision. 1999. 35(3): 245268.

[4] G. Bradski, A. Kaehler. Learning OpenCV. O’Reilly Media Inc., Sep 2008.

[5] 陈志,江锐. 浅谈图像匹配研究. 中国高新技术企业. 2007(16): 103-113

作者简介

戎晨(1982-), 男,学士,助理讲师,95866部队。研究方向:计算机通信,软件工程,电路设计等。

(1983-),男,博士研究生,国防科技大学电子科学与工程学院。研究方向:医学电子,图像理解与处理等。

本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文