曝光融合在单幅图像去雾中的应用
开篇：润墨网以专业的文秘视角，为您筛选了一篇曝光融合在单幅图像去雾中的应用范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
文章编号:1001-9081(2012)01-0241-04 doi:10.3724/SP.J.1087.2012.00241
摘 要: 针对雾天拍摄图像的降质现象，提出一种简单、有效的单幅图像去雾算法。首先利用暗原色先验知识估计出大气光亮度；然后根据雾天图像的成像物理模型，对每一像素的景深进行较高精度的亚采样，生成对应的虚拟无雾图像备选序列；最后，根据曝光融合算法提出的像素曝光评价指标，利用多分辨率形式的图像融合方法从备选序列中提取出清晰的无雾图像。实验结果表明，该算法既保证了复原图像清晰度，又具有较好的实时性。
关键词: 图像去雾；暗原色；像素评价；图像序列分析；曝光融合
中图分类号: TP391.413 文献标志码:A
Abstract: This paper proposed a simple and effective method to remove haze from a single input image degraded by bad weather. First, it estimated the airlight by using dark channel prior knowledge. Then, under a mathematical model for describing the formation of a hazy image, the depth of field of each pixel was sampled to get a virtual haze-free image sequence. Finally, an exposure criterion introduced by exposure fusion algorithm was used to extract a haze-free image from the image sequence by multi-scale fashion image fusion method. The experimental results show that the proposed method can yield good results and it is appropriate for real-time applications.
Key words: image dehazing; dark channel prior; pixel assessment; image sequence analysis; exposure fusion
0 引言
图像去雾研究是计算机视觉领域中的一个重要课题，在诸如自动监控系统、智能车、目标识别和遥感等领域均有需求。在有雾天气条件下，场景辐射照度被大气中的悬浮微粒散射和吸收，室外场景的能见度显著降低，计算机视觉系统获取的图像对比度低，加上大气光的作用，图像颜色整体偏向灰白色，致使基于特征检测的室外视频系统无法正常工作，图像去雾的目的就是恢复有雾图像的对比度和真实色彩，重现在理想天气条件下拍摄的清晰图像。
在基于物理模型的图像去雾研究中，由于雾对图像的影响程度与目标的场景深度密切相关，需要用到图像像素位置处的景深信息，而在单幅图像中是无法知道目标的场景深度，在早期研究中出现了很多利用辅助信息进行场景深度提取来实现去雾的方法。文献［1］通过将同一场景在不同天气条件下的多幅图像作为输入来达到去雾的目的；文献［2］通过对雾天场景的光学成像进行建模，借助于一张晴天和一张雾天场景的参考图像，计算出场景各点的深度比关系，最后利用深度关系复原雾天图像；文献［3］通过已知的近似3D场景模型来获取场景点深度来实现去雾。但上述方法需要不同天气条件下同一场景的多幅图像或者需要用户交互，不能满足自动、实时图像去雾的需求。图像去雾研究中最难的部分是仅仅依靠一张雾天图像作为输入信息来实现去雾。由于单幅图像去雾本质上是一个病态方程的求解问题，需要有额外的辅助信息方能求解，最近出现了一些利用强先验或假设来实现去雾的方法。文献［4］通过统计发现无雾图像相对于有雾图像必定具有较高的对比度，从而利用最大化复原图像的局部对比度来达到去雾的目的。文献［5］提出了基于暗原色先验的单一图像去雾技术，通过该先验信息求解物理模型参数，最终达到艺术级的去雾效果。但该方法在平滑透射率分布的过程中需要计算复杂的Matting Laplacian矩阵以及求解大型线性方程组，严重影响了算法的实时性。文献［6］优化了该算法，使得算法整体复杂度只与图像像素数量成线性关系，并通过使用中值滤波器取代数字抠图［7］来平滑透射率分布，进一步提高了算法速度，但复原结果有较为明显的失真。近来，图像融合技术也应用到了图像去雾中，但需要同一场景的近红外图像［8］。
针对以上问题，提出了一种新颖的仅仅利用单幅降质图像进行高质量快速去雾的方法。利用通用的雾天图像物理模型和场景深度是连续变化的特点，该方法对原始有雾图像的所有像素位置景深进行较高精度采样生成虚拟无雾图像备选序列，序列中每一幅图像肯定存在部分像素，其实际景深刚好等于或接近对应的采样景深。该部分像素真实地刻画了与其对应的无雾物理场景，这样，图像序列包含了无雾图像的绝大部分场景辐射信息。可以认为该部分像素“质量”最高，而像素“质量”可以通过文献［9］提出的评价指标（对比度、饱和度、曝光质量）进行衡量，据此计算出序列中每幅图像的归一化权重图。为了避免融合后引入的光晕现象，采用了多分辨率形式的像素级图像融合技术提取出场景辐射信息实现去雾。由于避免了复杂且计算量浩大的透射率计算过程，实验结果表明，在保证图像清晰度的同时，本文算法的运行效率和实时性能够更好地满足实际应用的需求。整个算法流程如图1所示。
1 物理模型
在计算机视觉和计算机图形学领域中，一种得到广泛应用的雾图像成像模型如下：
I(x)=J(x)t(x)+A(1－t(x))（1）
其中：I是雾天图像；J为场景辐射（即无雾图像）；A为大气光亮度，对应周围环境中各种光的总强度，是引起色彩偏移致使雾天拍摄图像呈现灰白色的主要原因；t为透射率，对应于场景辐射光线中没有被散射而到达镜头的比例；x为图像像素的二维空间位置。当大气为同质状态时，透射率t可表示为：
t(x)=e－βd(x)（2）
其中：d(x)为场景深度； β为大气散射系数，当β为零时，对应于无雾天气条件。图像去雾的目标就是从数据I中恢复出数据J，由式（1）可得：
J(x)=I(x)－At(x)+A（3）
由式（3）可知，只需知道大气光亮度和透射率即可恢复出无雾图像。其中对于大气光亮度A，文献［4］选取图像像素的最大亮度作为大气光，但在实际情形中，亮度最大的像素可能是一个白色的汽车或白色的建筑物，这样就会给大气光的估计引入较大误差。而大气光是引起图像色彩偏移的最主要因素，大气光估计值的准确与否会对最终去雾结果有重要影响。本文采用文献［5］提供的利用暗原色先验的方法来估计大气光，可以有效提高大气光估计的准确性。
2 基于图像融合的去雾算法
2.1 虚拟无雾图像备选序列生成
目前，已有大量文献讨论了如何通过单幅图像准确估计出透射率，但这些方法计算量浩大，实时性差。当大气为同质状态时，大气散射系数为一未知常值，也就是说透射率仅与场景深度相关，本文通过对每个像素点的场景深度以一定精度Δd进行采样并结合式（2）、（3）生成N幅图像组成的虚拟无雾图像备选序列，当参数选取合适时，该图像序列包含了绝大部分无雾图像的场景辐射信息。图像的去雾问题化归成从图像序列中提取场景辐射信息的问题，其中Δd=dmax/N，dmax为未知的场景深度最大取值。实际上， βd(x)=βdmaxNi=TNi,其中i=N－1,…,1,0。因此，在利用文献［5］估计出大气光亮度A后，只需得到参数T、N的取值即可得到虚拟无雾图像备选序列。在3.2节中给出了针对参数T、N的一种经验性选取方法，实验结果表明该选取方法是合理的且对不同有雾图像具备一定鲁棒性，即在绝大部分应用场合中可近似取T=3、N=16。对某幅雾天图像景深由远及近采样(即i依次取15，…，1，0)生成的虚拟无雾图像备选序列如图2所示。由图2可见，任一像素位置处的场景辐射真实值或最佳逼近值可以从序列中某幅图像同一像素处获得。由于该像素信息最佳刻画了对应位置处的实际场景辐射，可以认为其“质量”最高，将所有“质量”最高的像素点集中后便可恢复出清晰无雾图像。
2.2 序列像素质量评价
本文利用文献［9］提出的像素评价指标来提取出“质量”最高的像素。该像素评价指标是针对高动态范围环境下拍摄的多幅曝光程度不同的图像提出的，认为由于曝光不足或曝光过度导致某些区域在部分照片中单调乏味，应该减小这些照片上述区域的权重，而其余照片的相同区域却有着丰富的颜色和细节信息，则应该保留这些照片中该区域的信息。显然本文中虚拟无雾图像备选序列的像素评价也面临着同样的问题，可以使用与文献［9］相同的3个指标来对单个像素进行评价。
1)对比度。对比度反映图像的亮度变化信息，对每幅输入图像的灰度图应用拉普拉斯滤波器，取滤波器输出的绝对值作为衡量对比度的指标C，该指标会对诸如边缘和纹理等重要信息分配较高的权重。
2)饱和度。颜色饱和程度是图像质量的一个重要指标，恰当的饱和程度可以让图像看起来栩栩如生，计算每个像素的R,G,B三个颜色通道的标准偏差作为衡量饱和度的指标S。
3)曝光质量。像素某个通道的原始亮度很好地反映了像素的曝光好坏程度。一般，希望像素亮度不要太靠近0（曝光不足）也不希望其太靠近1（曝光过度）。通过使用高斯曲线exp(－(i－0.5)22σ2)来衡量像素亮度与0.5的偏离程度，在本文的实验中均取σ为0.2。对多通道图像来说，使用高斯曲线分别作用于每个颜色通道，然后将结果相乘作为曝光质量的度量。
对每一个像素来说，通过将上述三个指标相乘，得到每一幅输入图像的权重图，即：
Wij,k=(Cij,k)wC×(Sij,k)wS×(Eij,k)wE(4)
其中：C、S和E分别表示对比度、饱和度和曝光质量；wC、wS和wE为相应指标的权重指数；下标ij、k表示第k张图像的第(i, j)个像素。如果某个指数w=0，则在计算权重图时不考虑其对应指标。为了方便后续的图像融合，对权值图序列进行归一化，使每个像素的权值之和为1，最终得到的权重图W^ij,k将用来进行图像融合：
W^ij,k=［∑Nk′=1Wij,k′］－1Wij,k（5）
对图2中图像序列的某一像素位置采用该评价指标，得到相应的像素质量指数，结果表明采样景深较大的像素所占权重较大，如图3所示。
2.3 图像融合
得到虚拟无雾图像备选序列和对应的权重图后，对序列进行像素级图像融合，融合后的结果最大限度地保留了图像序列的结构，输出图像可由输入图像序列与其相应的单位化权值图序列进行加权融合得到：
Rij=∑Nk=1W^ij,kIij,k（6）
其中Ik是输入序列中的第k张图像。
但是，简单地直接应用式（6）会给融合结果引入光晕，尤其是在权值图变化剧烈的像素位置。为了解决该问题，文献［9］采用文献［10-11］的类似方法，通过alpha模板和多分辨率图像金字塔技术无缝融合虚拟无雾图像备选序列，步骤如下。
步骤1 融合操作是针对每层独立进行的，对N幅虚拟无雾图像备选序列进行拉普拉斯金字塔分解，对应的N幅归一化权重图进行高斯金字塔分解作为alpha模板。
步骤2 将虚拟无雾图像I的第l层拉普拉斯金字塔分解记为L{I}l，对应归一化权重图W^的第l层高斯金字塔分解记为G{W^}l，融合结果R的第l层拉普拉斯金字塔分解记为L{R}l，按式（7）进行图像融合：
L{R}lij=∑Nk=1G{W^}lij,kL{I}lij,k（7）
L{R}l可以看作虚拟无雾图像备选序列的第l层拉普拉斯金字塔分解的加权平均值。
步骤3 对得到的拉普拉斯金字塔进行重建得到融合后的去雾图像R。
3 去雾实验
3.1 实验结果
本文采用多幅有雾图像进行去雾实验，参数选取如图4所示，图5给出了本文方法与文献［5-6］去雾算法的3组对比实验。由实验结果可以看出，本实验所采取的算法可以较好地恢复出清晰图像，图像清晰度比文献［5］的算法要略差，但明显好于文献［6］的算法。
3.2 实验参数选取与结果分析
由式（2）、（3）可知，在图像序列生成过程中，需要对参数T=βdmax、N进行合理取值，图4给出了同一幅雾天图像在参数T、N取不同组合时利用本文算法得到的去雾图像以及算法执行时间。由图4可见，本文算法对参数T的取值较为敏感，当T取值较小时（T=1）去雾效果不充分；当T取值较大时（T=10）去雾后图像出现部分失真。通过对多幅不同雾天图像的实验，发现当T在3附近变化时，得到的去雾图像效果最佳。另一方面，为了使图像序列包含的场景辐射信息足够丰富且冗余较少，同时为了保证图像融合算法速度，需要折中选择参与曝光融合算法的序列长度。当N较小时（N=5）去雾效果不充分，当N较大时（N≥16），去雾效果的改善并不显著，但算法执行时间会大大增加，使得实时性降低。综上所述，在本文中近似选择T=3，N=16。
在曝光融合算法的实现过程中，对“像素质量”评价指标――对比度、饱和度、曝光质量赋予相同的权值指数，即wC=wS=wE=1。在图像金字塔分解和重建过程中使用的一维低通滤波器参数选取为f=［0.0625,0.25,0.375,0.25,0.0625］。
本文算法的最大优点在于保证复原图像清晰度的同时具有更好的实时性。本文的实验平台是CPU主频为2.94GHz、内存为4GB的PC，编程环境是Matlab 7.10.0。由于避免了复杂且计算量浩大的透射率计算过程，本文算法具有更好的实时性，表1给出了本文与文献［5-6］的算法效率比较结果。需要注意的是，由于不同计算平台的硬盘I/O时间差异很大，本文的计算效率比较不包含I/O时间。
由于本文利用暗原色先验得到了较准确的大气光估计值，但是在实际情况中，当场景辐射与大气光相近或场景中存在大片白色区域时，暗原色先验失效，这就会对大气光的估计造成误差，使得复原结果发生颜色偏移；另一方面，虚拟无雾图像备选序列是通过对有雾图像的场景深度进行采样得到的，这就不可避免地带来原始信息的损失。可以通过增加图像序列长度N以及选择更优的接近人眼视觉的“像素质量评价标准”来充分挖掘出图像序列中所蕴含的原始信息来减小原始信息的损失。
4 结语
为了解决雾天图像降质问题，本文提出了一种基于曝光融合算法的单幅图像去雾方法。利用暗原色先验对大气光值进行较高精度的估计，再结合雾天图像光学模型，在较宽范围内对场景深度进行采样，得到对应不同场景深度的图像序列，利用曝光融合算法，最终从雾的物理特性上有效恢复出清晰图像，且具有较好的实时性。本文算法同样也有一定的局限性，比如在暗原色先验失效的情况下，给出的复原图像会失真，因此有必要设计出适用范围更广的大气光估计方法。另外，场景深度的采样方式（本实验中采用等间隔均匀采样）和“像素质量评价标准”的不同选择都会对最终结果产生重要影响，上述内容都将是下一步工作的研究重点。
参考文献:
[1]
NARASIMHAN S G, NAYER S K. Contrast restoration of weather
degraded images ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6): 713-724.
[2]
陈功，王唐，周荷琴.基于物理模型的雾天图像复原新方法［J］.中国图象图形学报，2008，13(5):888-893.
[3]
KOPF J, NEUBERT B, CHEN B, et al. Deep photo: Model-based photograph enhancement and viewing ［J］. ACM Transactions on Graphics, 2008, 27(5): 116:1-116:10.
[4]
TAN R. Visibility in bad weather from a single image ［C］// Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2008: 2347-2354.
[5]
HE KAIMING, SUN JIAN, TANG XIAOOU. Single image haze removal using dark channel prior ［C］// Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2009: 1956-1963.
[6]
TAREL J-P, HAUTIERE N. Fast visibility restoration from a single color or gray level image ［C］// Proceedings of 2009 IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2009: 2201-2208.
[7]
LEVIN A, LISCHINSKI D, WEISS Y. A closed form solution to natural image matting ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 1-15.
[8]
SCHAUL L, FREDEMBACH C, SSSTRUNK S. Color image dehazing using the near-infrared ［C］// Proceedings of 2009 IEEE International Conference on Image Processing. Washington, DC: IEEE Computer Society, 2009: 1629-1632.
[9]
MERTENS T, KAUTZ J, van REETH F. Exposure fusion: A simple and practical alternative to high dynamic range photography ［J］. Computer Graphics Forum, 2009, 28(1): 161-171.
[10]
BURT P J, ADELSON E H. A multiresolution spline with application to image mosaics ［J］. ACM Transactions on Graphics, 1983, 2(4): 217-236.
[11]
BURT P J, ADELSON E H. The Laplacian pyramid as a compact image code ［J］. IEEE Transactions on Communication, 1983, 31(4): 532-540.
收稿日期:2011-06-10;修回日期:2011-08-30。
基金项目:
国家自然科学基金资助项目（61074106）；航空科学基金联合资助项目（2009ZC57003）。
作者简介:
陈晨（1986-），男，安徽巢湖人，硕士研究生，主要研究方向：图像处理、计算机图形学； 胡士强（1969-）,男，河北定州人，教授，博士生导师，博士，主要研究方向：信息融合、图像理解； 张军（1978-），男，甘肃临潭人，博士，主要研究方向：计算机视觉、图形学。