基于团块多尺度光流方向直方图的人群异常行为检测

开篇：润墨网以专业的文秘视角，为您筛选了一篇基于团块多尺度光流方向直方图的人群异常行为检测范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要摘要：如何进行适应不同场景的人群异常检测是视频监控领域的研究难点。目前主流的人群行为特征表达式是基于HOF的，其中基于多尺度MHOF是主流方法，但由于多尺度MHOF特征是基于等距划分场景区域的局部特征，因而不是人类观察外界场景的方式。团块特征是基本符合人类观察事物的方式，因此提出基于Blob团块的MHOF特征提取算法，并联合Hog特征，应用多层递归神经网络提出了异常行为检测的算法框架。在3个数据集上进行实验，结果表明，该算法优于基于多尺度MHOF特征的异常行为检测方法。

关键词关键词：视频监控；异常行为检测；团块提取

DOIDOI：10.11907/rjdk.171656

中图分类号：TP317.4

文献标识码：A文章编号文章编号：16727800（2017）005018903

0引言

由于人群场景分析的巨大应用价值，人群异常行为检测已经成为近几年视频监控领域的研究热点，吸引了大量研究者关注。人群异常行为检测指对人群场景中不符合规则的行为进行检测。这里不符合规则的行为即异常的定义往往带有主观性，比如可以把人群恐慌当作异常行为，也可以把在场景中打架斗殴当作异常行为，或者是在人行道上骑车等，而且视频数据量巨大，依靠人工检测不现实，必须依靠计算机技术实现人群异常的自动检测。另外，人群密度高、模式变化快、场景中存在巨大遮挡等挑战，令传统视频监控技术不能直接应用于人群场景，这使人群异常行为检测仍是一个有待解决的问题，涌现出了大量相关研究，但仍然没有被普遍接受的用于人群场景分析的问题解决方案。基于此，本文提出了基于深度学习的人群异常行为检测方法。

主要工作包括：①提出基于团块的BMHOF运动特征提取方法；②将BMHOF运动特征与HOG静态特征进行联合表达作为异常行为的检测模型输入；③应用多层递归神经网络构建异常行为检测模型。

1相关工作

异常行为检测领域包括个人异常行为检测和人群异常行为检测。其中，人群异常行为检测正在成为研究热点[1]。异常行为样式各异，很难有一个明确的定义和界限，通常认为异常行为有以下特点：①偶尔发生；②无法提前预知；③可能和某个任务有关。目前在视频监控领域的异常行为检测主要是针对人群的异常行为检测，人群异常检测可被建模为“正常―异常”二分类问题。

目前，对异常行为检测的方法主要是监督学习的方法，即预先对行为模式或异常行为的模型进行定义，然后对待识别的行为进行学习或匹配。Yang Cong等[2]提出了一种基于MHOF特征和稀疏表达的异常行为检测方法，该方法通过对异常行为特征进行字典学习，获得异常行为的表达方式，但该语义表达只能描述一些简单的异常行为，对过于复杂的或某些未知的异常行为无法检测；Si Wu等[3]提出用贝叶斯模型对人群的逃跑异常行为进行识别，取得了良好效果，但是针对单个人的行为特征表达仍不够完善；在文献[4]中，提出采用HOG特征融合的方法提高人体识别精度；A Adam等[5]利用多个监视器从视频序列中提取运动目标的光流特征并定义光流量级，然后在此基础上进行异常行为检测。

近年来，深度学习在图像识别领域表现出较高的识别准确率，成为图像识别领域的研究热点，在异常行为检测方面也具有很高的检测准确率。文献[6]提出了多尺度时间递归神经网络的人群异常检测方法，通过该方法来考虑帧与帧之间的时空关系，从而提高了检测准确率。

2异常行为检测

算法框架如图1所示，主要分为联合静态特征和基于团块的多尺度光流方向直方图特征提取（Blob Based Multi-scal HOF，BMHOF）、基于深度递归神经网络的异常行为检测模型训练和异常行为检测模型测试3部分。首先进行团块检测提取运动人群的团块，同时计算光流场，然后提取团块的纹理特征和运动特征，其中运动特征包括运动信息熵、平均速度，再应用VLAD将运动特征和静态特征进行联合特征表达，最后训练时间递归神经网络作为异常行为检测模型，完成异常检测模型构建。

2.1基于团块的BMHOF特征提取与静态特征联合表达

2.1.1Blob团块检测

基于Blob团块提取的特征更符合人类观察现实世界的方式[8]。Blob团块提取的主要过程是当检测出前景并进行二值化后，计算连通区域的轮廓，如果轮廓目标内部存在空洞则不予考虑。

但是由于目标可能存在断裂的情况，所以需要将距离比较近的目标轮廓合并。通过设定阈值，判断目标轮廓的外接矩形是否邻接，如果邻接，则在合并时取这些邻接轮廓的外接矩形。接下来计算合并后的矩形参数，包括矩形的宽高以及形心的位置。然后删除宽高过小的矩形，以进一步去除目标之外的噪声干扰。如果该目标矩形符合一定条件，则认为该团块为目标团块。

2.1.2BMHOF特征提取

Blob分析的核心是连通区域检测算法，它能够将人群中的不规则目标进行分割，降低前景噪声。本文提出采用MHOF特征作为时空运动信息的特征表达。首先对视频序列进行光流场计算和团块提取，然后对视频划分序列段，根据式（2）序列段中帧的光流场求和，得到序列段中每像素的光流和。

2.1.3静态特征提取

主要采用纹理作为静态特征，其中纹理特征主要采用Hog特征[4]。Hog特征是对图像进行分块，获得每个块的纹理直方图，在行人检测方面效果非常好，因此本文采用Hog特征、轮廓特征以及灰度共生矩阵作为联合静态特征表达。

2.1.4基于VLAD的特征编码

应用VLAD特征编码方法[7]联合动态特征和静态特征共同表达运动图像序列的特征。动态特征具有时空信息，静态特征则包含局部信息和全局信息。因此将两者进行统一联合表达能够同时利用运动图像序列的时空信息和局部信息。联合特征表达是通过将运动特征和静态特征表达为一个特征向量，以实现运动视频的特征表达。通过联合视觉特征表达，可有效利用时空信息和纹理信息。

2.2多层递归神经网络结构

首先将特征向量作为输入层，多层神经元作为隐层，训练结果分为异常和正常；然后用训练样本对多层递归神经网络进行训练，根据输出结果不断调整连接权重，获得神经网络每层的连接权重；最后测试阶段将测试运动图像序列，提取相同特征，采用与训练特征向量同样的方法得到融合特征向量，输入到已训练好的多层递归神经网络中，从而实现异常行为检测。本文选择隐层为三层的递归神经网络结构，学习率设置为0.01。

3实验

3.1数据集

实验采用3个数据集，分别是3个场景和3种异常行为。这3个数据集中有一个是公开数据集，即UCSD数据集，另外两个数据集是从网络上下载的，分别是人群异常行为数据集和稀疏人群的异常行为数据集。由于采用有监督的学习方法，因此这些视频文件需要人工标注。对于每个数据集采用5折交叉验证方法来验证模型的有效性。

3.2评估方式

对于本文提出的方法，使用受试者工作特征曲线（Receiver Operating Characteristic Curve， ROC）对其进行评估。ROC曲线的横坐标表示本身为负类被检测为正类的比例，即假阳性率（False Positve Rate，FPR）；纵坐标表示本身为正类被检测为正类的比例，即真阳性率（True Positive Rate，TPR）。

在两个数据集上作了5折交叉验证，并使用阈值平均方法[9]求取5 折交叉验证的平均ROC 曲线。该方法在给定的阈值下得到每条ROC曲线对应的点，然后对这些点求均值，得到在阈值下的平均值。变换阈值得到不同阈值下的平均值，最终得到5 折交叉验证的平均ROC曲线。同时本文采用异常检测结果ROC曲线下的面积（Area Under Curve，AUC）作为算法的整体评价指标。

3.3实验结果

分别在Scufflec数据集、Ped1数据集、Ped2数据集和crowdNormal数据集上，采用blobHogMHOF特征和MHOF特征在多层递归神经网络下绘制ROC曲线（见图5～图8）。从图5的ROC曲线中可以发现，采用blobHogMHOF特征的分类性能明显好于采用MHOF特征。从图6中可以得出，在Ped1数据集上基于blobHogMHOF方法的性能优于仅使用MHOF特征的方法。主要原因是在Ped1数据集中是人群散步，同时增加Hog特征能更好地表达人体特征，从而提高了人群异常行为的检测精度。

方法，针对基于MHOF特征方法的不足提出了基于Blob块和HOG特征的MHOF特征表达，即HOG-BMHOF特征表达方法，并提出基于HOG-BMHOF的人群异常检测的算法框架。实验结果表明，本文提出的方法针对稀疏人群或密集人群的异常行为，特别是在打架等异常行为方面具有较好的识别率。但是改进方法的不足之处主要是不具有实时性，其次是场景迁移后检测效果不够理想。今后的研究方向是在提高检测实时性的同时能够实现场景迁移的异常行为检测。

参考文献参考文献：

[1]TENG LI，HUAN CHANG，MENG WANG，et al.Crowded scene analysis： a survey[J].IEEE Trans.on Circuits and Systems for Video Technology，2014，25（3）：367386.

[2]YANG CONG，JUNSONGYUAN，JILIU.Abnormal event detection in crowded scenes using sparse representation[J].Pattern Recognition，2013（46）：18511864.

[3]SI WU，HAUSAN WONG，ZHIWEN YU.A bayesian model for crowd escape behavior detection[J].IEEE Transactions on Circuits and Systems for Video Technology，2014，24（1）：8598.

[4]GUO JINXIN，CHEN WE.Face recognition based on hog multifeature fusion and random forest[J]Computer Science，2013，40（10）： 279282.

[5]A ADAM，E RIVLIN.Robust realtime unusual event detection using multiple fixedlocation monitors[J].Pattern Analysis and Machine Intelligence，2008，30（3）： 555560.

[6]CAI RUICHU，XIE WEIHAO，HAO ZHIFENG，et al.Abnormal crowd detection based on multiscale recurrent neural network[J].Journal of Software，2015，26（11）： 28842896.

[7]HERVE JEGOU，MATTHIJS DOUZE，CORDELIA SCHMID，et al.Aggregating local descriptors into a compact image representation[C].2013 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2010：33043311.

[8]SHI C，XU SHENGRONG JING RENJIE，et al.Blobbased feature extraction[J].Chinese Journal of Computers，1997，20（12）：11241128.

[9]FAWCETT T.ROC graphs： notes and practical considerations for researchers[J].Machine Learning，2009.