公路收费站车辆跟踪及抓拍算法研究与系统实现
开篇：润墨网以专业的文秘视角，为您筛选了一篇公路收费站车辆跟踪及抓拍算法研究与系统实现范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘要： 为保障公路收费站对车辆抓拍和车流统计的抗干扰能力，以静止单孔摄像机获取的检票口车道视频作为研究对象，提出了一种高效的易于扩展的抓拍判断系统框架.在分析常见运动检测方法优劣的基础上，从实时性和鲁棒性考虑，采用基于运动历史图像的改进的帧差法，以提高运动检测的灵敏度；为缓解服务器的计算压力，提出了一种高效的车辆矩形区域快速定位算法，并在此基础上定义了基于时间和空间变化的规则，以排除摄影机前人和杆臂运动对镜头的遮挡，最终构成了抓拍判断系统框架.此外，就多路车道在不同光照下并行地进行了实时抓拍实验，结果显示，在总时长5.5 h的测试样例中，车辆计数平均准确度达87.8%，证明该框架可显著减弱抬杆、落杆的遮挡以及光照变化的影响，提高抓拍的精度.
关键词： 运动检测；帧差法；车辆跟踪；车辆抓拍；智能交通系统
中图分类号： TP391.4文献标志码： AVideoBased Vehicle Tracking and Capturing System
随着中国智能交通系统（intelligent transportation system， ITS）的发展，基于计算机视觉和图像处理技术的数字视频监控系统扮演着越来越重要的角色.基于视频的公路收费站车辆跟踪及抓拍系统属于ITS的一部分，相对于磁感线圈和红外传感系统而言，该抓拍系统具有安装调试容易、应用灵活、远程数据读取方便等诸多优势，且在已建成的收费站上增设和维护成本较低.以拍照的形式记录既解决了监控中心集中存储视频的网络压力和资源压力，又可进一步作为车牌车型识别的重要输入，总体而言具有所需储存容量小、保存周期长、检索方便等优点.
ITS需要解决的一个首要问题是车辆的检测与跟踪.近年来，针对该问题已有较为深入的研究[17].一般地，须首先提取道路背景，并自适应地更新以保持和环境变化协调一致[8]，然后进行背景差分以突出目标车辆[9]，接下来一一定位这些车辆，并分别进行跟踪[5，7]，最后统计车流的数据[56].在这些研究中，摄像机通常固定地架设在道路上方高处，所受干扰较小，且拍摄的视频画面包含有大面积静止背景.目前，针对公路收费站检票口监控视频进行车辆检测的具体研究还较少，由于车辆通常排队经过检票口，车速缓慢、间距紧密、停靠频繁，且摄影机距离车道近、高度低，特别是重型车辆经过摄影机时几乎完全遮挡住镜头的整个可视区域，因此，视频场景与普通交通监控尚有较大区别，传统的检测方法不再有效.
西南交通大学学报第48卷第2期夏创文等：公路收费站车辆跟踪及抓拍算法研究与系统实现本文在保证多路运算实时性应用需求的前提下，针对收费站检票口监控视频，改进了运动检测，提出了一种高效的车辆矩形区域快速定位算法，并在此基础上研究拍照时机，进一步提出了基于时间和空间变化的抓拍判决规则，以排除镜头前人和杆运动的遮挡，最后通过实验验证了所提出算法的有效性.1运动车辆检测考虑到并行多路实时抓拍的实际需求，运动检测算法须保证非常高的效率.这不仅要求设计的算法能对视频流进行实时处理，而且单处理线程必须尽可能少地占用处理器资源.在实时运动检测方法中，背景差分法和帧间差分法是两种常用的基本方法.
从运动的场景中有效地提取背景图像是背景差分方法研究的主要问题之一，使用自适应背景差分方法必须首先解决被选作表示背景的特征（如像素灰度值、色度以及纹理等）.通常对于一处固定的位置，背景像素的出现频率远高于前景像素，因此，一种基本的背景提取方法的思想是对视频在一段时间内的连续数帧求平均.但仔细观察公路收费站检票口场景，不难发现，车辆在停靠检票口时已占据图像中央大部分区域，恰好将车辆下方和后方的部分道路遮挡，尤其是遇到车辆排队依次通过检票口或者大型货车停靠检票口时，后方的道路几乎长时间地被车辆全部遮挡.此时，对于检票车道上被遮挡的位置，出现车辆前景的频率往往远大于出现道路背景的频率，这违背了动态场景中提取静态背景的基本原则，使背景提取方法在很大一部分图像区域中无法正确区分出背景像素，如图1所示.此外，由于提取出的背景帧被反复用于运动检测，一旦提取错误，其影响会扩散到后续多帧.因此，本文基于帧差法进行运动检测，并对其准确度和灵敏度进行优化.
帧差法是利用视频帧间像素的时域相关性，用当前帧图像与相邻帧图像求差来检测目标的方法有诸多优越性：首先，因为帧差法的检测仅考虑当前帧的相邻帧或前数帧，具有无后效性的特点，因此它的性能稳定；其次，帧差法效率高，且对于动态变化的环境显示出较强的自适应性[1]；此外，由于本文所讨论的车辆跟踪及抓拍只关注精确控制抓拍时机，无需准确识别车辆轮廓，因此，对于帧差法引入车尾鬼影造成检测到的运动区域扩大可以忽略.但是，帧差法提取出的运动实体内部往往容易产生大量空洞.比如同一颜色的车身或者车顶相邻像素之间的灰度值差异不大，加之前后两帧车的位移量小，因而两帧间这些位置的像素差异很小，这是空洞的主要成因.由于检票口摄影机距离车辆近，空洞现象变得尤其严重，进一步导致检测出的车辆被分隔成多个部分.
为了解决空洞造成的分裂，本文采用多种方法填补空洞区域.首先通过维护一个数帧大小的帧缓冲池，将帧差从相邻帧求差扩展到允许间隔数帧求差，从而放大了车辆的位移，使得任何缓慢的运动都更容易被侦测到；然后，对二值化的前景像素采用中值滤波抑噪[1012]，以及形态学的闭运算操作先膨胀后腐蚀[13]，来增强区域的连通性；最后，使用运动历史图像（motion history image， MHI）[14]进一步充实车体.运动历史叠加将一个连续的视频运动序列逐帧叠加到运动历史图像中，并在每一次进行叠加的时候记录该帧运动像素的当前时刻.运动历史叠加可以设置一个消隐时间，超过该消隐时间的运动前景像素将从运动历史图像上删除.
本文采用间隔3帧求差，以3×3的窗口大小进行中值滤波，以5×3的矩形作为闭运算结构化元素，将结构化元素的中心点选取为矩形中心，并迭代2次闭运算以强化效果.选取的结构化元素具有宽度大于高度的特点，这是考虑到具体的收费站检票口1台摄影机总是对应于单一车道.因此，前景图像中，X方向上只考虑同一辆车，可以增强闭运算来增加连通性；而在Y方向上，可能出现前后2车间隔距离较近的情况，须减弱闭运算，避免将前后的车辆连接在一起.最后，设置运动历史叠加的消隐时间th为0.4 s，以在空洞填补效果和车尾鬼影长度之间取得平衡.所采用的多种车身运动检测空洞填补方法效果如图2所示，经过对比可以显见每种方法都在一定程度上进一步充实了车体，从而便于提高车身定位的精确度.
算法定位1帧图像中多个连通的前景像素矩形区域仅需对图像进行1次逐行扫描.其核心思想是对扫描到的前景像素点进行标号，并建立其矩形区域，对编号相同的点扩展其矩形区域，而对不同编号的连通域，则合并其所属的矩形区域，但无需再逐一修改其编号，最终整理出这些矩形区域即可.
详细的算法描述如下：
算法输入：二值化后的运动检测前景图；
算法输出：由相互邻接的像素所覆盖的矩形区域.
（1） 从图像左上角第1个像素起，从左至右，从上至下，逐行进行扫描，直到图像的所有像素被扫描完毕；
（2） 对每个被标记为前景的像素进行标号，标号规则是：
① 首先判决当前位置像素上方和左方的点是否已被标号，如果均未被标号，则为该像素建立新的编号，新编号的值由1开始依次累加，且新记录一个覆盖该像素的最小矩形区域，矩形区域由其四边界的值确定，这时的四边界与该点坐标重合；
② 如果只是上方的点已被标号，则该像素的编号取上边的编号，并扩展已记录有该编号的矩形区域边界以覆盖当前像素；
③ 如果只是左方的点已被标号，则该像素的编号取左边的编号，并扩展已记录有该编号的矩形区域边界以覆盖当前像素；
④ 如果上方的点和左方的点均已经被标号，则该像素的编号应选取上边的编号值；2个不同编号的连通区域相遇时，除了为该像素选取编号外，还需要合并上方和左方2个点的编号所属的矩形区域.
为了实现对指定矩形域的各种频繁操作，例如删除、合并和重排列，还须动态维护1个索引数组，其中的每个元素都指向1个矩形区域.当整幅图像的像素全部扫描完毕时，就完成了多目标矩形区域定位.图3是该算法的1个示例，前景图像关注区域大小为8×16.
3.1存储结构由于判决目标在时间和空间上的运动模式需要回顾、分析历史的运动目标矩形区域，因此必须缓存历史数据.考虑到每帧中可能出现多个目标矩形区域，因此将缓存数据结构分为2级.第1级是帧结构，每个单元包含3个信息：该帧的矩形域个数、该帧是否有目标进入拍照检测区域以及1个指向第2级矩形域结构的指针；第2级是矩形域结构，每个单元包含1个矩形的特征信息.这种2级的存储结构如图5所示.显然，这种分级结构同时具有很强的可扩展性，可以方便地增加其他便于利用的信息.
3.2基于时间的规则基于时间的拍照判决是针对2级缓冲结构的第1级（即基于帧的存储结构）的.在每次拍照判决时将首先扫描第1级的帧历史缓冲区，一旦发现历史帧中有车辆出现在拍照检测区域，则不进行拍照，这具有拍照延时的作用，避免大车经过时因车身大面积遮挡摄影机的可视区域带来的噪声干扰，延时时间由帧缓冲区大小决定.并且，该设计借助缓存历史，实现了在前一辆车离开拍照检测区之后才开始计算延时，而不是直接针对驶入拍照检测区的每一辆车设置一个经验性的通过时间，因而与车辆运动速度的快慢无关.所以，该方法对片状噪声有一定抵抗能力，且能适应于车辆以不同车速经过检票口的情况，提升了拍照判决的鲁棒性.3.3基于空间的规则基于空间几何变化特征的规则是车辆抓拍判决的核心，且具有良好的可扩展性.
规则1根据透视图性质，车辆到达拍照检测区域的过程是一个连续的运动过程，因此，在车辆刚刚驶入拍照检测区域时，回顾前几帧的历史应检测到连续的运动出现.该规则的目的在于过滤拍照检测区域中突发出现的片状噪声.此类噪声的特征是引发视频大面积灰度突变，在突变前几帧检测不到应有的符合车辆特征的运动矩形区域，因而得以将噪声与车辆的特征区分开来.
规则2为了进一步过滤噪声，特别是针对车辆靠近检票口摄影机而引起的并发噪声，算法禁止在车辆到达拍照检测区域的前3帧出现运动矩形区域的突然变化.这是因为车辆靠近并驶过检票口摄影机的过程在运动前景图像上是运动矩形区域自右上角到左下角由小变大的过程，应当具有连续性，而出现跃变则考虑是噪声干扰.
规则3在前2个关于噪声过滤的规则完成之后，将对收费站升降杆臂运动和工作人员在摄影机前走动的情况进行识别.首先，仍假设车道位于摄影机左边，收费站杆臂的运动轨迹和车辆的运动轨迹有明显的区别.由于杆臂安装在右侧，因此杆臂在转动时将检测到紧靠右边界对齐的运动矩形区域，这种矩形区域的直观特征在于其右边界贴近于镜头视野右边界，而左边界则离镜头视野左边界有一定的距离.再次对比分析车辆逐渐靠近并驶过摄影机的运动模式，其表现在运动矩形区域变化上具有从右上角移动到左下角，并逐渐扩大的几何特征，因此矩形的左边界到镜头视野左边界的距离是一个逐渐减小的过程，这正好与杆臂的矩形区域运动模式相反.基于这一点，可以区分出收费站杆臂的运动.
规则4考虑工作人员运动的识别.运动的人与运动的车在运动前景图像上的最显著区别在于人的运动矩形区域在宽度上明显小于车的.因此，当人和车在设置为左下角的拍照检测区域中出现时，车因宽度大，其矩形区域右边界往往投在镜头视野的右半平面内，而人的右边界往往在镜头视野的左半平面.基于这一点，可区分出收费站工作人员的运动.
4实验结果本文以广东省公路收费站所使用的服务器实际配置搭建实验平台，其CPU采用一颗四核的Xeon处理器，主频2.26 GHz，内存4 GB，工作在Windows XP操作系统上.应用本文提出的系统框架，能实现8路车道并行的实时车辆跟踪和抓拍，以及简单的车流量和车型大小统计.
对广东省3个公路收费站，共11组监控视频进行了实验.视频总时长5.5 h，共包含494 871帧图像，不连续地覆盖了白天各个时间段的光照情况.实际通过车辆共1 156辆，其中误检83辆，误检率7.2%；漏检224辆，漏检率19.4%.车辆计数平均准确度87.8%.针对本文中提出的同时基于时间和空间变化规则的拍照判决算法，实验结果表明，该算法总体上表现出较好的鲁棒性.图6展示了该算法对于两种典型情况在车辆抓拍鲁棒性上的明显改进.图6（b）是图6（a）的检测结果，可见杆臂运动的残影形成连续前景区域被识别出来（大框），且该区域与左下角拍照区（小框）重叠，但通过规则3予以滤除，从而避免误拍.图6（d）是图6（c）的检测结果，同样地，人的运动区域（大框）
4予以滤除.
另外，基于空间变化规则的引入大大增强了算法的可扩展性，在遇到新的问题影响抓拍判决时，只要该问题可以从空间几何分布上予以识别和区分，就能够添加到现有的过滤中.另一方面，该算法仅对每帧中的矩形区域进行记录和缓冲，无需请求大的内存空间，并且每帧中的矩形区域数量有限，因而并不增加识别判决的时间复杂度.所以，无论在时间还是在空间复杂度上，该算法都有普遍优势.在实验的检测结果方面，漏检的情况种类多、原因复杂，致使漏检率远高于误检率，但总体看来尚在可接受的范围内.
5结论本文中分析了基于视频的公路收费站车辆跟踪及抓拍系统，其主要的工作和成果如下：
（1） 讨论了背景差分方法在收费站场景中应用的局限性，使用帧差法并进行了优化.具体地，首先引入了帧缓冲池进行间隔数帧求差以提高运动检测灵敏度，然后分别使用中值滤波、形态学闭运算和运动历史图像，极大程度上解决了一般帧差运动检测法在运动实体内部的空洞现象；
（2） 提出了一种高效的车辆矩形区域快速定位算法，算法定位一帧图像中多个连通的前景像素矩形区域仅需对图像进行一次逐行扫描，具有良好的计算性能，且内存开销小；
（3） 进一步提出了同时基于时间和空间变化规则的拍照判决算法，该算法以噪声过滤和解决收费站栏杆臂运动和工作人员在摄影机前走动的影响为目标，采取两级缓存数据结构，在提高拍照判决稳定性的同时还具备很好的可扩展性.
目前，收费站升降杆臂的运动影响仍不能完全被排除，对于部分光照条件差、受路面积水反光影响严重的视频序列，拍照时机的选择仍有待改进，因此有必要进一步研究针对性的方法.
参考文献：
[1]GUPTE S， MASOUD O， MARTIN R F K， et al. Detection and classification of vehicles[J]. IEEE Transactions on Intelligent Transportation Systems， 2002， 3（1）： 3747.
[2]MORRIS B T， TRIVEDI M M. A survey of visionbased trajectory learning and analysis for surveillance[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2008， 18（8）： 11141127.
[3]KHAMMARI A， NASHASHIBI F， ABRAMSON Y， et al. Vehicle detection combining gradient analysis and AdaBoost classification[C]∥Proc. of the IEEE Conference on Intelligent Transportation Systems. Vienna： IEEE， 2005： 6671.
[4]Van LEEUWEN M B， GROEN F C A. Vehicle detection with a mobile camera： spotting midrange， distant， and passing cars[J]. IEEE Robotics & Automation Magazine， 2005， 12（1）： 3743.
[5]HSIEH J W， YU S H， CHEN Y S， et al. Automatic traffic surveillance system for vehicle tracking and classification[J]. IEEE Transactions on Intelligent Transportation Systems， 2006， 7（2）： 175187.
[6]BAS E， TEKALP M， SALMAN F S. Automatic vehicle counting from video for traffic flow analysis[C]∥Proc. of the IEEE Intelligent Vehicles Symposium. Istanbul： IEEE， 2007： 392397.
[7]XIE Lei， ZHU Guangxi， WANG Yuqi， et al. Realtime vehicles tracking based on kalman filter in a videobased ITS[C]∥Proc. of IEEE Conf. on Communications， Circuits and Systems. Hongkong： IEEE， 2005， 2： 883886.
[8]曾艳，于濂. 一种新的道路交通背景提取算法及研究[J]. 中国图象图形学报，2008，13（3）： 593599.
ZENG Yan， YU Lian. A new background subtraction method for on road traffic[J]. Journal of Image and Graphics， 2008， 13（3）： 593599.
[9]SHI Peijun， JONES E G， ZHU Qiuming. Median model for background subtraction in intelligent transportation system[C]∥Proc. of SPIE， Imaging Processing： Algorithms and Systems Ⅲ. San Jose： SPIE， 2004， 5298： 168176.
[10]张天瑜. 基于改进型中值滤波算法的图像去噪[J]. 长春工业大学学报，2009，30（1）： 4952.
ZHANG Tianyu. Image denoising based on improved median filter[J]. Journal of Changchun University of Technology， 2009， 30（1）： 4952.
[11]董付国，原达，王金鹏. 中值滤波快速算法的进一步思考[J]. 计算机工程与应用，2007，43（26）： 4849.
DONG Fuguo， YUAN Da， WANG Jinpeng. Study on fast algorithm of median filtering[J]. Computer Engineering and Applications， 2007， 43（26）： 4849.
[12]YUAN Shiqiang， TAN Yonghong. The solutions of equationbased noise detector for an adaptive median filter[J]. Pattern Recognition， 2006， 39（11）： 22522257.
[13]RICHARD A P. A new algorithm for image noise reduction using mathematical morphology[J]. IEEE Transactions on Image Processing， 1995， 4（3）： 554568.
[14]屈桢深，于萌萌，姜永林，等. 用小波模历史图像的运动车辆视频检测[J]. 西南交通大学学报，2012，47（3）： 8995.
QU Zhenshen， YU Mengmeng， JIANG Yonglin， et al. Visionbased detection of moving vehicles using wavelet modulus history images[J]. Journal of Southwest Jiaotong University， 2012， 47（3）： 8995.