基于多特征融合的挖掘机检测算法
开篇：润墨网以专业的文秘视角，为您筛选了一篇基于多特征融合的挖掘机检测算法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
【摘要】在变电站等场合经常发生由于挖掘机施工而导致地下电力线缆等电力设施被破坏的事情。针对这种情况，本文提出了基于机器视觉的挖掘机目标检测及报警方案，通过对监控场景中的挖掘机等目标进行实时检测来实现对地下线缆等电力设施的有效保护。为了快速准确地对挖掘机进行检测，我们提出了基于HOG和Gabor特征相融合并采用SVM进行训练、检测的方式。试验结果表明，该方法对挖掘机的检测是简单有效。
【关键词】目标检测；HOG特征；Gabor特征
引言
在很多变电站等一些重要的电力场所，为了防止挖掘机等重型设备施工时对地下浅层的电缆等电力设施造成破坏，需要对这些电力设施进行重点保护。如何采用基于视频智能分析的方式对一些重要场所的地下线缆等电力设施进行保护是近期一个比较热门的研究方向。从目前的国内外的研究来看，采用视频智能分析的方式对视频中的可疑目标（如挖掘机等大型设备）进行检测、报警是目前比较流行的一种方法。
在机器视觉领域，为了实现视频中的目标进行检测，比较流行的方法是采用方向梯度直方图(Histogram of Oriented Gradient, HOG) [1]特征结合SVM分类进行目标检测。HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，它通过计算和统计图像局部区域的梯度方向直方图来构成特征。值得一提的是，HOG+SVM[2] [3]进行行人检测的算法是法国研究员Dalal在2005的CVPR上提出的，如今虽然还有很多行人检测算法不断提出，但很多都是在HOG+SVM的框架进行改进的。
美国Raamac Lab实验室在面向工地施工可视化技术和智能视频检测技术方面积累了丰富的经验，他开发了一款专门用于工地上挖掘机和施工人员检测的设备，能够对施工现场的挖掘机设备进行检测和管理。在他们公开发表的文献[4] [5] [6]中，他们提出采用了HOG+C（HSV颜色空间）以及线性SVM训练的方法用于挖掘机检测。算法检测流程如下图所示：
图 1 应用场景
图 2 HOG+C算法检测流程
算法的主要思想就是利用HOG特征表达出挖掘机等目标的外形，利用HSV（H色调、S饱和度、V亮度）颜色空间中的HS分量，表达目标的颜色特性。两种特征共同组成HOG+C（表示color颜色）特征向量，加入到线性SVM中训练。然后利用窗口滑动的方式，遍历整幅图像，利用支持向量预测窗口中是否含有目标，最后将检测到的关联窗口进行合并成一个目标窗口。挖掘机的HOG特征和HSV颜色特征如下图所示：
图 3 挖掘机的HOG特征
图 4 hue和saturation通道图像
实验证明该方法对于特定颜色（比如黄色）的挖掘机，HOG+C的特征能够较好地描述挖掘机的特征，因而对于特定颜色的挖掘机能够得到相对准确的检测结果。但是由于实际场景中，挖掘机的颜色不确定，而且由于工作过程中泥土灰尘等附在挖掘机的车身上以及不同视频采集设备导致的颜色偏差都大大影响了该方法的检测效果。
本文为了克服现有挖掘机检测技术的不足，以适应复杂场景中不同颜色的挖掘机，我们舍弃了颜色特征，采用HOG特征和Gabor[7] [8]特征相融合的方式，同时利用线性SVM进行训练、检测。HOG特征和Gabor特征相融合的方式利用了图像边缘的多种属性，如边缘的方向特性、结构特性，属于多特征融合方法，因而能更准确地描述挖掘机的统计特征，同时由于本文在计算时能够采用积分图等技术提高计算速度，所以说能够很好地平衡检测精度与检测速度。
1 HOG特征
1.1 HOG特征的特性
HOG特征描述器最重要的思想是：在一副图像中，局部目标的表象和形状（apperance and shape）能够被梯度或者边缘的方向密度分布很好地描述。与其他特征描述方法相比，HOG描述器有很多优点。首先，由于HOG计算是在图像的局部胞元（cell）上操作，所以它对图像几何（geometric）和光学的（photometric）形变都能够保持很好的不变性，这两种形变只会出现在更大的空间领域上。其次，作者通过实验发现，在粗的空域抽样（coarse spatial sampling）、精细的方向抽样（fine orientation sampling）以及较强的局部光学归一化（strong local photometric normalization）等条件下，只要行人大体上能够保持直立的姿势，就容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。HOG特征可以用于图像中的行人检测[9] [10]、常见动物检测以及汽车、公交车、自行车、摩托车等常见车辆检测。
1.2 HOG特征计算方法
HOG特征描述是由一系列的胞元（cell），块（block）、块滑动量（stride）窗口（window）、和梯度方向数（nbins）组成的。
（1）cellsize：
cell是最小组成单元，通常由n x n个像素组成。如下图所示：
图 5 cellsize
（2）nbins：
每一个cell的梯度按照方向分为nbins组，方向具有有向（360°）和无向（180°）。一般采用的nbins = 9的分组方式，每组角度范围为20°。如下图所示：
图 6 nbins
（3）blocksize：
m x m 个cell组成了一个block。如2 x 2的4个cell组成一个block。每个block通过滑动块的方式，遍历整个HOG窗口，而滑动的增量由stridesize指定，如下所示：
图7 blocksize和stridesize
（4）winsize：
HOG特征对待检测图像通过多尺度缩放的金字塔方式检测，被检测目标的窗口大小应该大于等于HOG特征的检测窗口。一个HOG特征窗口包含了x个block。如下所示：
图8 winSize
1.3 HOG特征计算流程
HOG特征计算流程如下：
图9 HOG特征计算流程
2 Gabor特征
2.1 Gabor变换
窗口傅里叶变换：在傅里叶变换中加入一个窗函数，对信号进行加窗处理，给出信号的谱的时-频信息，通过窗函数来实现信号的时频分析；
Gabor变换(WFT)：
WFT数学形式：(1)
其中 为窗函数（可以取Gauss函数）。
时频分析：
时域局部化：它通过引进的时窗函数 ，使时域信号 在 附近被局部化为 。
时频域：
分析了信号 在t=b附近的频率特性。
粗略地看，WFT是在 附近的时间窗中观察时域信号 ；同时，在 附近的频率窗中观察频域信号 。
图10 时窗函数的时域局部化表现图
2.2 2D-Gabor函数
二维Gabor滤波器[11] [12] [13] 是一个带通滤波器，可定义为一个用Gauss函数调制的复指函数
2D-Gabor函数可以获得时频联合测不准原理下限值，即2D-Gabor滤波器可以最大限度地获得空域和频域的联合分辨率。
二维Gabor函数：
(2)
其中
(3)
, ：空间域像素的位置；
， ：空间频域中滤波器径向中心频率的两个分量，决定滤波器在频域的中心位置；
：Gabor小波的方向，控制滤波器的方向；
、 ：Gauss函数沿两个坐标轴的标准方差；
：直流补偿，减小光照的影响；
由式(2)看出，二维Gabor滤波器[14] [15]实际上是时域中的两个函数相乘，一个为Gauss函数，一个为复指函数。由“频域卷积定理”可知，通过傅里叶变换，得到频域中的Gabor滤波器也是一个Gauss函数的形式。当在时频域中对频域窗口尺寸和方向进行采样时，即可获得不同尺度和方向的Gabor滤波器。确定滤波器后，将图像经过滤波器，获得的输出响应。即将图像信号与Gabor函数进行卷积，卷积的结果，便是所提取的Gabor特征。
滤波卷积：
其中： ：表示图像信号； ：Gabor滤波函数； ：响应特征；
显然，Gabor特征是一个复值响应。根据实部和虚部的不同选取方法，Gabor特征可分为奇特征(实部)、偶特征(虚部)、幅值特征(幅值)。
3 HOG和Gabor特征的融合
图11 HOG特征提取
如上图所示，假设以64x128的窗口（WINDOW）为例，可以在每个CELL上面提取9个方向的特征，这样每个BLOCK就有36个特征，如果每个BLOCK以8x8为步长进行滑动，整个窗口就会生成一个3780维的HOG特征。
对于Gabor特征，首先需要对原始图像进行傅立叶变换，得到各种不同尺度和方向的空域Gabor算子，然后计算空域Gabor算子的傅立叶变换已得到频域的Gabor算子，通过跟频域的Gabor算子进行卷积可以得到频域滤波结果，最后，对频域滤波结果进行反傅立叶变换就可以得到空间域的滤波结果。这样，在空域滤波的基础上，我们就可以提取我们所需要的Gabor特征。
图12 Gabor特征提取
分别提取HOG和Gabor特征之后，我们就可以将这2种特征融合在一起组成一个更高维度的特征，从后面的试验结果可以看出，采用HOG和Gabor特征相融合的方式能够训练出更好的挖掘机模型，从而更好地实现挖掘机的检测。
4 仿真实验与测试结果
如下图所示，为了实现挖掘机检测我们收集了正负样本各10000万个并提取其HOG特征和Gabor特征，然后采用LIBSVM对正负样本的特征进行训练。经过第一轮训练之后再将误报的区域加入到负样本中进行迭代训练，经过几次迭代训练之后，分类器模型趋于稳定，这样就可以采用训练好的分类器模型在视频或者图片中对挖掘机进行检测。
图13 挖掘机正样本
图14 工作场景负样本
HOG特征检测流程如下，我们可以对待测图像进行不同尺度的缩放，然后采用滑动窗口的方式在图像中遍历所有窗口，当检测到窗口中有目标出现时，就可以发送报警信息。
图14 基于HOG和Gabor特征相融合的检测流程
如下图所示，我们采用训练好的挖掘机分类模型可以很好地实现挖掘机的检测、报警，相关人员收到报警信息时能够及时对警情进行处理，这样能够较好地实现地下电缆的保护。
图15 挖掘机检测结果
为了更好地测试算法的性能，我们在I7处理器，WIN7系统下面用C++代码实现了文献2中提出的算法，通过测试大量的图片得到下表所示的试验结果。从表中可以看出，我们提出的HOG+Gabor的方案平均检测率可以达到84.6%，误报率可以控制在15.2%左右，性能优于文献2中提出的方法。
表 1 挖掘机检测算法对比测试结果
算法方案 平均检测率 平均误报率
HOG+C 81.7% 20.3%
HOG+Gabor 84.6% 15.2%
5 结束语
实验表明采用基于HOG和GABOR特征相结合的方式，能够较好地对视频中的挖掘机等大型机械进行检测。所以，在电力系统等具体应用中可以考虑在监控场景中设置检测区域，当设定的检测区域中出现挖掘机或其他可疑的大型机械时，系统会自动检测出场景中的挖掘机并发出报警信息，相关人员可以根据报警信息对警情进行及时处理，从而能够更好地对监控区域内的地下线缆进行保护。
参考文献：
[1]N. Dalal and B. Triggs. Histograms of oriented gradients for human detection. Conference on Computer Vision and Pattern Recognition (CVPR), 2005.
[2]Navneet Dalal and Bill Triggs. Histograms of Oriented Gradients for Human Detection[J]. Proc. IEEE Conf. on Computer Vision and Pattern Recognition, vol. 2, 2005: 886-893.
[3]Dalal N. Finding People in Images and Videos[D]. Grenoble, France: The French National Institute for Research in Computer Science and Control, 2006: 10-25.
[4]Milad Memarzadeh. Mani Golparvar-Fard. Juan Carlos Niebles. Automated 2D detection of construction equipment and workers from site video streams using histograms of oriented gradients and colors. Automation in Construction.2012.11.4.
[5]M. Memarzadeh, A. Heydarian, A. Heydarian, J. C. Niebles. Real- time and Automated Recognition and 2D Tracking of Construction Workers and Equipment from Site Video Streams. Computer in civlil engineering.2012.11.
[6]Man-Woo Park, Evangelos Palinginis, Ioannis Brilakis.Detection of Construction Workers in Video Frames for Automatic Initialization of Vision Trackers.ASCE2012.
[7]H. Shin, S. D. Kim, and H. C. Choi, Generalized elastic graph matching for face recognition, PR letters, vol. 28, no. 9, 2007.
[8]Fogel, I.; Sagi, D. (1989). "Gabor filters as texture discriminator". Biological Cybernetics 61(2). doi:10.1007/BF00204594. ISSN 0340- 1200.
[9]刘超.基于HOG特征和运动信息的视频行人检测算法研究.中国科技论文在线. 北京邮电大学计算机学院, 2008.
[10]孙昀，刘富强，李志鹏．基于空间梯度直方图的行人检测算法．中国图象图形学报.同济大学嵌入式系统与服务计算教育部重点实验室/宽带无线通信与多媒体实验室，2008.
[11]张俭鸽，王世卿，盛光磊.基于小波和DFB-PCA的人脸识别算法研究[J].自动化学报，2007，23（2-1）：253-255.
[12]曹林,王东峰,刘小军,邹谋炎.基于二维Gabor小波的人脸识别算法[J].电子学报,2006，28（3）490-494.
[13]刘贵喜，杨万海.基于小波分解的图像融和方法及性能评价[J].自动化学报，2002，28（6）：927-934.
[14]周嫔，马少平，苏中.多分类器合成方法综献[J].自动化学报，2000，28（1）：122-124 [14]庄哲民，张阿妞，李芬兰.基于优化的LDA算法人脸识别研究[J].中国图像图形学报，2007，29（9）：2047-2049.
[15]王蕴红，范伟，谭铁牛.融合全局与局部特征的子空间人脸识别算法[J].电子学报，2005，28（10）：1657-1662.
[16]钟向阳.基于Gabor小波的人脸识别系统的实现[J].中国图像图形学报，2005，23（3）：74-78.