部分遮挡目标的稳健局部特征点提取方法
开篇：润墨网以专业的文秘视角，为您筛选了一篇部分遮挡目标的稳健局部特征点提取方法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘 要： 部分遮挡目标的特征提取是目标检测中的难点问题。针对这一问题，提出一种基于稳健性度量统计分析的部分遮挡目标稳健局部特征点提取方法，该方法建立在目标图像训练集的局部特征点逐步提纯基础上。它首先对目标在不同条件下获取的图像集分别应用SIFT提取相应局部特征点；然后基于统计分析对局部特征点进行粗提取，再通过计算置信度进一步筛选出较稳健的局部特征点；最后分析局部特征点的空间分布等因素提取出最稳健的局部特征点集。实验结果表明，该方法耗时仅为SIFT检测算法的30%，并且保证了检测精度。
关键词： 部分遮挡； 稳健局部特征点； 置信度； 逐步提纯
中图分类号： TN919?34；TP75 文献标识码： A 文章编号： 1004?373X（2013）22?0076?05
0 引 言
部分遮挡目标检测一直是计算机视觉和模式识别关注的重要问题和难点，其在精确制导、自动目标识别系统、交通监视等领域有着重要的实用价值[1?3]。
目前，国内外学者对遮挡目标检测方法进行了大量的研究[4?5]，现有方法按照检测信息的不同划分为3个大类：第一类是基于灰度信息的方法，如规格化互相关[6]；第二类是基于边界信息的方法，如基于Hough变换[7]和文献[8]；第三类是基于局部特征的方法。基于灰度信息的方法计算量大，且由于用到了全局灰度信息，所以检测精度受到约束；而基于边界信息的方法利用了边界轮廓信息，一定程度上提高了检测精度，但是在遮挡情况复杂的情况下很难准确地检测出目标；基于局部特征的方法利用目标局部特征，受干扰程度相对来说最低。因此，基于局部特征的方法成为国内外学者研究的主流方法，其中以局部特征点的研究最受关注。部分遮挡目标局部特征点提取的难点主要表现在以下2个方面：一方面，由于部分遮挡造成目标部分信息的缺失，而且由于遮挡形式的多样性和随机性，给部分遮挡目标的特征表征带来了困难；另一方面，成像平台、传感器和天气等多方面因素造成目标成像形式的多样性，遮挡物体的形状和位置大小等在不同时间、不同地点所表现出来的多样性使得目标的表现形式也是千变万化，给提取稳定局部特征点增加了难度。以往的局部特征点提取算法有Harris，SUSAN，FAST等，这些算法缺乏尺度特征，稳定性不高，不能适应遮挡情况的出现[9?11]；为了提高局部特征点的稳定性，SIFT，SURF，以及扩展的ASIFT等局部特征点算子被提出来，它们提取的特征具备光照、尺度、旋转等多种不变性，在简单的部分遮挡情况下也能提取出稳定的特征，但容易出现误检测[12?14]。
目前基于局部特征点提取方法还存在问题：现有局部特征点提取方法在部分遮挡情况下或稳定性不好，或较耗时。
研究者们关注的问题都集中在对局部特征进行描述以及优化匹配算法上，传统方法都认为局部特征点的数目越多，检测精度就越高，然而这样局部特征点数目越多，其中不稳定点也越多，在复杂环境下目标被误检测的概率也相应地提高了，而且耗时也相应增加了。为了解决这些问题，本文提出了一种部分遮挡目标的稳健局部特征点提取方法。该方法利用SIFT提取训练图像的局部特征点，再通过粗提取和设置置信度进行精提取得到较稳定的局部特征点，最后通过局部特征点空间分布得到目标的稳健局部特征点。该方法经过逐步提纯最后得到目标的稳健局部特征点，不仅数目少，而且稳定性高，既保证了检测精度，又提高了检测速度。下面先总体介绍本文的部分遮挡目标稳健特征提取方法，然后叙述其中参数的选择问题，最后给出部分遮挡目标检测方法与实验。
1 本文方法总体流程
本文提出的一种基于稳健性度量统计分析的部分遮挡目标稳健局部特征点提取方法基本出发点：为了得到稳健局部特征点，对包含目标的图像的局部特征点进行了逐步提纯。对一幅训练图像，本文方法通过以下几个步骤提取出稳健局部特征点：第一步，生成包含目标多种状态的仿真图像集；第二步，通过仿真图像集对目标图像进行粗特征点提取；第三步，对第二步得到的粗特征点设置置信度进行筛选；第四步，考虑到点分布的空间特性完成稳健局部特征点的提取。图1为本文方法流程图。
经过上述4个步骤可以从训练图像中得到具有稳健局部特征点参考图像，在接下来的小节中将对流程图中的每一步骤的实现进行详细的说明。
2 仿真图像集生成
本文的目的是提取稳健的能代表目标的局部特征点，因此，所提取的局部特征点应该能适应多种环境变化，在这里获取目标的多种变化图像构成一个图像集。通过对训练图像进行训练来得到这样一个图像集，图像集中包括以下3种情况生成的图像：光照变化、旋转变换和尺度缩放。其中实现光照变化包括图像整体变暗变亮或渐明渐暗，如光照调整范围在[-100，100]内，以10～50为步长生成光照变化图像。旋转变换：可以在[-30°，30°]角度范围内，以5°～15°为步长生成旋转变换图像。尺度缩放：在[0.5，2]缩放尺度范围内，以0.2～0.5为步长生成尺度缩放图像。
3 粗特征点提取
利用SIFT算法对目标图像和图像集中的任意一幅图像进行局部特征点提取并且利用SIFT描述向量的最近邻与次近邻之比和RANSAC算法完成特征匹配，得到每次匹配后的局部特征点，生成目标图像中匹配局部特征点的坐标集[Sn，n=1，2，…，N]，[Sn]表示目标图像与图像集中第[n]幅图像匹配后的在目标图像上的局部特征点的所有坐标。
设目标图像与图像集中所有图像完成匹配后得到的在目标图像上的所有局部特征点的坐标为[S=S1?S2?…?Sn]，[S]的元素个数为[N′]，[S]中第[m]个元素[S[m]]在[S1]，[S2]，…，[Sn]中总共出现的次数为[L[m]]，则[S[m]]的概率[T[m]=L[m]N]，[m=1，2，…，N′]。
通过匹配得到的目标特征点数目基数很大，通过对特征点出现频率进行统计，设定阈值删除不稳定局部特征点。
因此，设定粗特征点提取阈值[t]，当[T[m]≥t]时，将[S[m]]作为粗特征点保存到集合[U0]中。[t]的取值范围一般在[0.75，0.9]之间。
4 粗特征点筛选
通过阈值限定后的粗特征点数目依然可观，不稳定局部特征点依然存在很多，为了是局部特征点稳定性更好，对粗特征点进一步筛选。通过对粗特征点设定置信度并根据置信度高低进行点的筛选。
利用训练图像，对集合[U0]中的每一个元素（粗特征点）进行置信度计算：
（1）灰度对比度置信度计算
在以所述元素为中心的半径为[Rr]个像素的圆环邻域上，利用下式计算所述元素的与灰度对比度有关的置信度[Z1]：
[Z1=maxn0，n1Nr， n0 or n1≥NUM0，else]（1）
式中：[Nr]是圆环邻域的像素点个数；[n0]是圆环邻域上像素点灰度值大于所述元素灰度值加上一个灰度阈值[t′]的像素点个数；[n1]是圆环邻域上像素点灰度值小于所述元素灰度值减去一个灰度阈值[t′]的像素点个数，[NUM]是像素点个数阈值。
[Rr]的取值范围在[1，5]内，相应地可以计算得到圆环邻域上像素点个数[Nr]。灰度阈值[t′]一般在[10，100]之间。像素点个数阈值[NUM]的值也是不能太小，具体取值根据[Rr]的取值确定。
（2）梯度均值幅值比置信度计算
在以所述元素为中心的半径为[R1]和[R2]个像素的圆形邻域内，计算所述元素与圆形邻域内任意一个像素点的梯度幅值，求得梯度幅值均值[g1]和[g2]；两个圆形邻域半径[R1]和[R2]不能相差太大，一般可选取[R1]=1，[R2]取值在[3，5]之间。
则梯度均值幅值比[rate]为：
（3）高曲率点置信度计算
所述元素的与高曲率点有关的置信度[z3]可以由下式计算得到：
[Z3=gxxgyy-g2xy1+g2x+g2y] （4）
式中：[gx]表示所述元素在目标图像中水平方向上的一阶差分；[gy]表示所述元素在目标图像中垂直方向上的一阶差分；[gxx]表示所述元素在目标图像中水平方向上的二阶差分；[gyy]表示所述元素在目标图像中垂直方向上的二阶差分；[gxy]表示[gx]在目标图像中垂直方向上的一阶差分。
（4）总置信度计算
5 稳健局部特征点提取
为了实现提高在遮挡情况下检测的稳定性，稳健局部特征点在目标上的应该尽量均匀分布，因此我们提出按照空间分布情况选取稳健局部特征点。步骤如下：
步骤1：排除相近特征点
对集合[U1]中的每一个元素，在以所述元素为中心、半径为[Rc]个像素的圆形区域内查找集合[U1]中的元素，并将这些元素中总置信度不是最大值的元素从集合[U1]中删除。
设经过步骤1的循环处理，得到集合[U2]。
步骤2：按空间距离排序选取稳健局部特征点
计算集合[U2]中元素两两之间的空间距离[dk，h]，[k]，[h]表示集合[U2]中的第[k]个元素和第[h]个元素，[k≠h]。然后按照空间距离从大到小的顺序进行排序，选取排序后的前[M]个元素，作为稳健局部特征点。如果集合[U2]中元素个数小于[M]，则保留集合[U2]中的所有元素。[M]的取值根据后续使用的要求确定。
一方面，由于对训练图像进行了多种情况的仿真，通过设定阈值得到了在大多数情况下都稳定的局部特征点；另一方面，经过对每一特征点从3个方面设立相关的置信度，并且加权得到总的置信度，保证了局部特征点的稳健性。而且，通过空间分布的分析，更好地适应了遮挡情况的发生。本文方法克服了现有大数据量图像局部特征点提取计算速度慢的问题。
6 实验结果与分析
实验中，采用0.6～3 m不同分辨率的光学卫星遥感图像16幅，目标区域有机场、港口等，光学图像中主要是云遮挡情况。其中，训练图像都是选取分辨率高、成像好、无遮挡情况下的图像，图2中展示了部分训练图像。下面举例介绍相关实验结果。
本文训练图像的参数设置如下：先对目标图像进行仿真变化，生成图像集。图像集中包含的图像有光照变化：模拟太阳光照生成2幅光照变化图像；旋转变换：在[-30°，30°]范围内，以10°为步长生成6幅旋转变换图像；尺度缩放：在[0.6，1.4]缩放范围内，以0.2为步长生成4幅尺度缩放图像。总共生成[N]=12幅仿真图像。设定粗特征点提取阈值[t]=0.8，[Rr]=3，灰度阈值[t′]=50，所以[Nr]=16，设定像素点个数阈值[NUM]=10，[R1]=1，[R2]=3，设定粗特征点筛选阈值[t″]=0.8，同时设定[M]=100。
通过训练得到具有稳健局部特征点的参考图像，并在此基础上将本文方法应用于部分遮挡目标图像中进行目标检测实验。在此的方法能为部分遮挡目标检测提供很好的稳定性和可观的检测速度。
7 特征点提取实验结果
本节介绍稳健局部特征点提取，图3展示的是无遮挡情况下1 m分辨率图像的稳健局部特征点提取过程。
图3是对图2中的图像利用本文方法提取稳健局部特征点时在不同步骤下得到的实验结果，展示的4幅图像都是进行实验后从结果图中截取的一部分，图中十字符号表示特征点位置。从实验结果图（a）到（d）中可以看出特征点数目的明显变化，最终（d）得到了数目不多但稳健的局部特征点。说明本文方法极大地减少了局部特征点的数目，清除了大部分不稳定局部特征点。
8 遮挡目标检测实验结果
提取稳健局部特征点的目的是为了实现遮挡目标的检测与识别，为了验证本文方法的性能，将本文方法应用于遮挡目标检测实际应用中进行实验，并且与基于经典SIFT的目标检测方法进行了比较。
在输入的待检测图像中，目标的状态是不可预知的，实验的图像中目标被大量的云层遮挡，并受到光照变化等的影响。
图4是基于经典SIFT方法和基于本文方法进行的部分遮挡目标检测实验的实验结果对比，图中十字符号表示匹配的特征点位置，图中（a）和（c）中的方框表示检测到的目标，（b）和（d）是进行实验后从结果图中截取的一部分。
其中（a）和（b）是基于经典SIFT方法的部分遮挡目标检测结果：待检测图像和训练图像的检测结果图。（c）和（d）是基于本文方法的部分遮挡目标检测结果：待检测图像和参考图像的检测结果图。
另外，表1列出相应的目标检测耗时对比，本文方法提取的局部特征点远小于经典SIFT方法提取的局部特征点，其平均耗时为经典SIFT方法的30%，因此本文方法在保证检测精度的同时提高了检测速度。
9 结 论
本文针对遮挡目标特征点检测精度和速度效率不高的情况，提出了一种遮挡目标稳健局部特征点提取方法，它综合分析了局部特征点的局部特性和空间分布等特性，通过置信度度量逐步筛选出稳健局部特征点。与经典SIFT方法的遮挡目标检测实验对比分析表明本文方法能从大量特征点集中逐步提取出稳健的局部特征点，提高了目标检测速度，同时也保证了检测的精度。未来需要研究的问题包括：仿真实现更多状态下的目标形态，完善仿真图像集；更智能地自动选择阈值参数。
参考文献
[1] ZHANG Q， NGAN K N. Segmentation and tracking multiple objects under occlusion from multiview video [J]. IEEE Transactions on Image Processing， 2011， 20（11）： 3308?3313.
[2] HSIAO E， HEBERT M. Occlusion reasoning for object detection under arbitrary viewpoint [C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. [S.l.]： IEEE， 2012： 3146?3153.
[3] BAJORSKI P. Target detection under misspecified models in hyperspectral images [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2012， 5（2）： 470?477.
[4] TOEWS M， ARBEL T. Detection， localization， and sex classification of faces from arbitrary viewpoints and under occlusion [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2009， 31（9）： 1567?1581.
[5] LIU N， LAI J H， ZHENG W S. A facial sparse descriptor for single image based face recognition [J]. Neurocomputing， 2012， 93： 77?87.
[6] TSAI D M， LIN C T. Fast normalized cross correlation for defect detection [J]. Pattern Recognition Letters， 2003， 24（15）： 2625?2631.
[7] BARINOVA O， LEMPITSKY V， KHOLI P. On detection of multiple object instances using hough transform [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 2012， 34（9）： 1773?1784.
[8] TOSHEV A， TASKAR B， DANIILIDIS K. Object detection via boundary structure segmentation [C]// Computer Vision and Pattern Recognition. [S.l.]： CVPR， 2010： 950?957.
[9] HARRIS C， STEPHENS M. A combined corner and edge detector [C]// Proceedings of Fourth Alvey Vision Conference. [S.l.]： AVC， 1988： 147?151.
[10] SMITH S M， BRADY J M. SUSAN： a new approach to low level image processing [J]. International Journal of Computer Vision， 1997， 23（1）： 45?78.
[11] ROSTEN E， DRUMMOND T. Machine learning for high?speed corner detection [M]. Berlin Heidelberg： Springer， 2006： 430?443.
[12] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International Journal of Computer Vision， 2004， 60（2）： 91?110.
[13] BAY H， TUYTELAARS T， VAN GOOL L. SURF： Speed up robust features [M]. Berlin Heidelberg： Springer， 2006： 404?417.
[14] MOREL J M， YU G. ASIFT： a new framework for fully affine invariant image comparison [J]. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438?469.