基于视频模式识别的快速超分辨率重建
开篇：润墨网以专业的文秘视角，为您筛选了一篇基于视频模式识别的快速超分辨率重建范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘 要:针对传统超分辨率重建方法运算量过大的问题,提出一种快速超分辨率重建算法。该算法在快速最大后验概率(MAP)重建算法的基础上,针对车牌识别的特定应用进一步简化了代价函数。该算法从低分辨率的图像序列中提取出高分辨率的图像。这些高分辨率的图像不仅极大地提高了车牌的识别率,也降低了获取高分辨率图像所需成像系统硬件的要求。移动车辆视频的盲重建实验表明,该算法能够有效地提高车牌图像的质量,而其运算量要远远小于其他的超分辨率重建方法。较低的运算量使得该算法能够有效应用于实时系统。
关键词:图像处理;超分辨率重建;快速MAP重建算法;模式识别
中图分类号:TP391.41文献标识码:A
文章编号:1004-373X(2010)04-038-04
Fast Super-resolution Reconstruction for Video-based Pattern Recognition
WU Yanjun,YUAN Jie,WANG Weixi,ZHENG Yan
(Nanjing University,Nanjing,210093,China)
Abstract:To reduce the computational cost of super-resolution reconstruction,a fast super-resolution reconstruction algorithm is proposed.For the special application of License Plate Recognition,it uses a further simplified cost function which is used in the fast MAP-based (Maximum a Posteriori) algorithm.The algorithm abstracts the resolution of reconstruction image from low resolution frame sequences.The result photos can greatly promote the recognition rate,and reduce the hardware requirements for imaging system producing higher resolution images.Blind reconstruction experiments using real videos of moving vehicles show that the proposed algorithm can efficiently enhance the quality of plate images,while its computational cost is quite lower compared with existing super-resolution methods.With low computational cost,this reconstruction method is suitable for real-time identification system.
Keywords:image processing;super-resolution reconstruction;fast MAP-based reconstruction algorithm;pattern recognition
0 引 言
高分辨率的图像能够包含更多的细节信息,在诸多领域有着广泛的应用。高分辨率的成像系统可以获取高分辨率图像,但是高精度的硬件设备复杂且成本极高。由于成像环境的光能不足、相互运动、离焦等多种原因,即使使用高分辨率成像设备,也难以获得理想的图像,使目标难以辨认,很大程度阻碍了高分辨率图像应用范围的扩大。超分辨率重建技术则有效解决了这个问题。超分辨率重建能够从低分辨率的图像中得到高分辨率的图像,而这些低分辨率的图像序列可以从已经使用的低分辨率成像系统获得,降低了获取高分辨率图像的成本。
在图像超分辨率重建方面,Huang和Tsai[1]首先提出了频率域重建算法。Kim,Bose,Su等研究者在这一基础上提出了拓展的频域算法[2-4],将光学成像过程中产生的点扩散、高斯噪声等效应添加进模型,使其更加符合实际的应用情况。频域重建法普遍具有理论简单,易实现,运算速度快等优点。然而,所有的频域方法都只适用于全局性平移运动的情况,难以增加一般性的先验约束,并且不能包含一般的噪声模型。频域的方法并没有成为主流,相反空域的方法却得到了相当大的发展。目前研究比较广泛的超分辨率重建方法主要有最大似然估计(ML)法、凸集投影(POCS)法和MAP法[5,6]三种。POCS方法的原理简单,并且有灵活的空间域观察模型,但是它的解不惟一;MAP有惟一解且收敛稳定度高,降噪能力强,但是运算量比较大。
超分辨率技术应用于行驶车辆车牌识别系统(LPR),通过获取低分辨图像序列得到高分辨率的车牌图像,能够有效降低设备成本。Suresh和Kumar写的[7]是第一篇介绍超分辨率重建和行驶车辆LPR结合的文章。文中介绍了一种基于MAP的方法,但MAP方法需要大量的计算,使其难以应用于实时系统。Tanaka和Okutomi提出一种快速MAP算法[8],即利用一种简化的代价函数,极大地减少了重建所需的像素。这种方法可以直接应用于提高车牌图像的质量,还可以减少运算量。
这里在快速MAP算法的基础上提出了一种适用于行驶车辆LPR系统的快速超分辨率重建方法。该算法所需的运算量很小,可以应用于DSP实时系统。
1 快速MAP重建算法
假设向量f是理想高分辨率图像,理论上该图像可以近似为低分辨率的图像序列。每个低分辨率图像用向量gk表示,k = 1,2,…,K。gk的分辨率为(M×N)×1;f的分辨率为(PM×PN)×1;P为放大比率。低分辨率图像的成像系统模型为:
gk=AkHkC(dk,r)fr+ek(1)
式中:C(dk,r)为(PM×PN)×(PM×PN)矩阵,表示从帧fr映射到帧fk的运动补偿,这个矩阵式由运动估计参数dk,r决定。Hk为(PM×PN)×(PM×PN)矩阵,表示运动模糊和传感器点扩散函数(PSF)。(M×N)×(PM×PN)矩阵Ak表示采样过程;ek表示观测噪声。
假设矩阵Ak,Hk 和C(dk,r)在重建过程之前已知,将式(1)写为:
gk=Bk,rfr+ek(2)
式中:Bk,r =AkHkC(dk,r)。根据已知数据和先验概率,通过超分辨率重建可得高分辨率图像fr的近似结果。
传统的MAP重建方法可以看作是代价函数极小化的优化过程,有:
I1=∑Kk=1∑M×Nl=1[bk(xk,l,yk,l)T•f-gk,l]2+λ∑PM×PNc=1φc(f)(3)
式中:bk(xk,l,yk,l)是关于像素gk,l的PSF向量;gk,l 为图像gk的第l个像素位置(xk,l,yk,l),由于采用亚像素精度,PSF并非空间平移不变,低分辨率图像上处于不同位置的像素点,其对应的PSF函数形式上也不相同,需要多次计算;φc(f)为代表先验概率的平滑度约束[9]。这种优化能够减轻重建图像的噪声,并抑制边缘效应和其他的高频内容。
对基于迭代的MAP算法,每次迭代需要计算的像素数为C=KMN,即包含低分辨率序列内所有像素点,这是造成庞大运算量的最主要原因[7]。提出了一种简化的代价函数,在构造该函数之前,将低分辨率图像内的所有像素映射至高分辨率图像坐标。用Rj表示第j个高分辨率像素对应的所有低分辨率像素点(假设包含ωj个点)构成的集合。将Rj中低分辨率像素点的位置坐标离散化至高分辨率像素的中心坐标,并计算均值:
hj=1ωj∑m∈Rjgm(4)
坐标的离散化使得所有点的PSF函数在形式上得到统一,降低了PSF的运算量。因此简化的代价函数可以表示为:
I2=∑Chj=1ωj[b(xj,yj)T•f-hj]2+λ∑Chc=1φc(f)(5)
这样每次迭代需要计算的像素数便缩减为Ch = PM×PN,即仅需考虑一帧高分辨率图像内的所有像素即可。
2 用于LPR系统的快速超分辨率重建算法
2.1 方程进一步简化
前面介绍的快速MAP重建算法可应用于各种视频和运动。事实上,在大多数光学字符识别(OCR)的应用中,字符图像在特征向量提取之前要进行二值化处理。超分辨率重建出来的许多细节信息对后续识别是没有作用的,可以忽略。根据这一思想,对于LPR系统,还可以做进一步的简化,例如,大部分的车牌图像只有两种或三种颜色:背景色和一种或两种字符颜色。为了使信息更清楚,背景色和字符颜色通常是强对比的,所以在SR或LPR处理之前进行灰度图像转换时,车牌上只有两种颜色:深色和浅色,并且在二值化过程中将通过的阈值分开。式(5)中的平滑度约束,对二值图像的影响非常微小,完全可以忽略。
式(5)中的参数ωj表示集合Rj中噪声的方差,它会影响重建图像上残留噪声的分布,但这里假设忽略ωj的差异不会改变二值图像中字符的形状。实验证明,这种假设对大部分情况都适用(见第3节)。
因此,进一步简化的代价函数如下:
I3=∑Chj=1[b(xj,yj)T•f-hj]2(6)
因为这里的PSF函数空间平移不变,故对上式的优化等价于式(7)做解卷积运算:
h=b*f+e(7)
式中:h为对低分辨率序列作运动估计和式(4)运算得到的“均值图像”;e代表估计误差。可以根据最小均方误差准则,利用维纳滤波求解f。
2.2 具体步骤
用于LPR系统的快速超分辨率重建算法的执行步骤如下:
(1) 获得低分辨率图像序列g1,g2,…,gK,选定gr为参考帧。
(2) 从每幅图像中确定和提取车牌区域。车牌提取不是本文的重点,有很多算法可以采用[10]。
(3) 采用基于光流公式的算法估计参数[11]。由于车牌是固定方式的刚体运动,只要考虑整体移动、转动和视角变化产生的缩放,即可用一些参数来表示。这里采用仿射变换为运动模型:
x2=a1x1+a2y2+a3
y2=a4x1+a5y1+a6(8)
(4) 设置放大比率P,根据步骤(3)得到的运动参数将低分辨率图像上所有像素点映射到高分辨率坐标,参照式(4)计算出均值图像h。
(5) 利用维纳滤波法对式(7)解卷积。其中,PSF函数表达式为:
Sj(xi,yi)=1Zexp-(xi-xj)2+(yi-yj)2P,
xi-xj≤Q且yi-yj≤Q
0,其他
式中:Z是归一化系数。用参数Q控制PSF中非零区域的大小。
(6) 为了使重建后的字符线条更加平顺,更易于识别,利用bicubic法插值放大图像并进行二值化处理。
3 试验结果
给出快速重建算法的试验结果,作为比较,给出其他重建方法的结果。所有的实验都使用赛扬处理器(2.66 GHz);所有的算法都采用Matlab运行。另外维纳滤波使用Matlab函数deconvwn。这里选择专门用于测试超分辨率算法的标准图像序列,及几组运动汽车视频来验证本节算法。
图1为标准视频的重建结果。序列包含30帧图像,采用放大比率P=3,PSF的Q参数设置为2。可以看出,拉伸的原始图像(图1(a))和单帧插值图像(图1(b))均难以辨识。超分辨率重建的结果则极大地提高了清晰度。MAP方法(图1(c))和ML方法(图1(d))与快速重建算法的结果(图1(e))区别并不明显,但(图1(d))与(图1(e))残留有噪声。图1(c),图1(d),图1(e)二值化的结果见图2(其中(a)~(c)分别对应图1(c)~(e))。
图1 车牌序列实验
图3是另一组测试结果。视频中的车牌包含省份简称。根据第2部分的简化方程得到的重建视频中会存在一些网状噪声,但此类噪声并不影响二值结果。
三种重建方法耗费的运算时间差别很大(见表1)。实验表明,三种重建方法得到的结果相近,但快速算法耗费时间仅占传统MAP,ML算法的20%左右。
图2 二值化结果
图3 手持DV摄像机采集的车牌序列的结果
表1 计算时间比较
分辨率方法计算时间/s分辨率方法计算时间/s
78×117
(3PLK273)
MAP重建7.33
ML重建6.56
快速重建1.3057×102(AU4702)
MAP重建5.25
ML重建4.59
快速重建0.97
4 结 语
现有的运动车牌识别系统很大程度上依赖超高分辨率摄像设备的支持,其相对高昂的价格阻碍了系统的广泛应用。利用超分辨率重建算法,通过综合视频序列的信息构建高分辨率车牌图像是解决这一问题的有效途径。它可以降低对摄像头的要求,从而减少硬件成本,使得大规模公路自动监控成为可能。从技术上看,车牌运动模式简单,现有运动估计算法可以很好地满足要求。然而,实时监控需要快速重建算法,通用的MAP方法很难实现。
在此提出LPR系统的快速重建算法,以简化的代价函数为核心,降低了运算量。盲重建实验表明,该算法得到的图像与传统MAP重建得到的图像基本相同,而运算量却小得多,故可以用于实时系统。该算法也可以用于提高其他基于视频的OCR系统的识别率。
后续的研究将重点放在使用压缩视频作为输入数据的离线LPR系统。实验表明,快速算法直接用于解压图像时得到的结果并不好。压缩过程引入的诸如块效应和振铃效应会影响运动估计和重建的效果,因此该方法有待于进一步的改进。
参考文献
[1]Huang T S,Tsay R Y.Multiple Frame Image Restoration and Registration[A].Advances in Computer Vision and Image Processing[C].Greenwich,CT:JAI Press,1984.
[2]Kim S P,Bose N K,Valenzuela H M.Recursive Reconstruction of High Resolution Image from Noisy Undersampled Multiframes[J].IEEE Trans.on Acoust.,Speech,Signal Processing,1990(38):1 013-1 027.
[3]Kim S P,Su W Y.Recursive High-resolution Reconstruction of Blurred Multiframe Images[J].IEEE Trans.on Image Processing,1993(2):534-539.
[4]Bose N K,Kim H C,Valenzuela H M.Recursive Implementation of Total Least Squares Algorithm for Image Recons-truction from Noisy,Undersampled Multiframes[A].Proc.IEEE Conf.Acoustics,Speech and Signal Processing[C].Minneapolis,MN,1993(5):269-272.
[5]Borman S,Stevenson R.Spatial Resolution Enhancement of Low-resolution Image Sequences-A Comprehensive Review with Direction for Future Research[R].Lab.Image and Signal Analysis Tech.Rep.,University of Notre Dame,1998.
[6]Park S C,Park M K,Kang M G.Super-resolution Image Reconstruction:A Technical Overview[J].IEEE Signal Processing Magazine,2003(20):21-36.
[7]Suresh K V,Kumar G M,Rajagopalan A N.Superresolution of License Plates in Real Traffic Videos[J].IEEE Trans.on Intelligent Transportation Systems,2007,8(2):321-331.
[8]Tanaka M,Okutomi M.A Fast MAP-based Super-resolution Algorithm for General Motion[J].Proc.SPIE Electronic Imaging,2006(6 065):404-415.
[9]Schultz R R,Stevenson R L.A Bayesian Approach to Image Expansion for Improved Definition[J].IEEE Trans.onIma-ge Processing,1994,3(3):233-342.
[10]Xu J,Li S,Yu M.Car License Plate Extraction using Color and Edge Information[J].Machine Learning and Cyberne-tics,2004,6:3 904-3 907.
[11]Altunbasak Y,Mersereau R M,Patti A J.A Fast Parame-tric Motion Estimation Algorithm with Illumination and Lens Distortion Correction[J].IEEE Trans.on Image Processing,2003(12):395-408.
[12]Zhu X,Yuan J,Du S.Super-resolution Reconstruction of Image Sequences Compressed with DWT-Based Techniques[A].Proc.Beijing:International Conference on Wavelet Analysis and Pattern Recognition[C].2007:555-560.
[13]朱翔,袁杰,都思丹.基于JPEG序列的图像重建[J].电子与信息学报,2007,29(8):1 841-1 844.
[14]熊伟,朱秋煜.一种基于视频的公交客流计数方法[J].现代电子技术,2008,31(14):95-97.