合成高动态图像有关技术综述分析

开篇：润墨网以专业的文秘视角，为您筛选了一篇合成高动态图像有关技术综述分析范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

【摘要】为了解决真实场景的动态范围与普通数字图像的动态范围不匹配的问题，众多研究工作者将高动态图像获取技术作为一个研究热点。文中简要介绍了高动态图像的成因以及研究意义，接着详细分析和总结了基于硬件和软件的高动态图像获取算法，指出各种算法的优缺点，最后对于高动态图像获取问题，提出了一些展望。

【关键词】高动态图像;鬼影;合成;色调映射

1.前言

自然界中的真实场景具有非常宽广的动态范围，从夜晚的星光到白天的阳光，场景亮度变化范围涵盖了大约九个数量级（109）的动态范围。但是，目前普通的显示/输出设备受到软、硬件水平的限制，使得数字图像的存储、传输、处理、显示等都是基于8-bit整数来进行的，只能表示256（约102）个深度等级，图像的亮度级别与真实场景的亮度级别差距较大。因此，当我们用传统的普通相机在室内拍摄有阳光射入的门、窗等场景图像时，或对着有太阳、灯光的方向拍摄图像时，不管怎样调整相机参数，都会存在严重丢失场景细节信息的现象，原因在于真实场景所展现的亮度范围超出了相机本身所能显示的动态范围。

高动态图像（High Dynamic Range Image，HDRI），不仅有助于人眼对场景的辨识，而且对边缘检测、图像分割、图像锐化等数字图像后续处理和计算机视觉系统研究也具有积极的意义。

为了解决普通图像设备的动态范围有限的问题，近年来学者们开始研究如何获取“高动态图像”，以达到“所得即所见”。

2.基于硬件的算法

研究人员提出设计不同的感光元器件，即设计不同的电荷耦合元件（CCD：charged couple device）来获得高动态图像[1]，Mitsunaga and Nayar[2]提出了设计依据空间位置不同具有不同曝光度（spatially varying pixel exposures）的图像感光单元，他们在传统的图像感光阵列前放置一个光学掩模，它能够依据空间入射光不同而具有不同的透射率，所以图像感光阵列内相邻的像素点就会根据具体的场景给予不同的曝光，从而得到一幅高动态范围图像。

Tublin[3]等人提出一种新的相机设计方法，该相机的感光单元首先检测相邻像素的入射光差异，然后再对入射光进行量化，从而获得高动态图像。

上述基于硬件的方法在一定程度上扩大了普通相机固有的动态范围，但是同时也增加了成像的成本，而且动态范围仍然远远达不到人眼和自然界的动态范围。

3.基于软件合成的算法

这类算法的总体思路是，先用普通成像设备采集不同曝光的图像序列，然后基于一定的算法分别将这多幅图像中较清晰的信息融合到一幅图像中，期望获得动态范围较宽的场景图像。在图像序列的融合过程中，如果图像中没有随时间发生运动的物体[4]，那么，采用图像融合的诸多算法都有一定的效果，可以对相同位置处的像素进行运算;如果图像中存在随时间发生运动的物体[5]，比如运动的人物、车辆，随风摆动的树叶等，那么如果仍然按照上述融合算法，就会出现人工效应“鬼影”（ghosting）现象，就会在融合图像中呈现多个运动目标重叠出现的现象，严重影响视觉效果。

3.1 静态图像合成

静态的软件合成高动态图像问题的研究分为两类，一类是根据多幅不同曝光的图像序列先恢复出相机响应曲线（Camera Response Function，CRF），即得到光照强度和数字图像像素亮度值的函数，进而根据色调映射函数还原出高动态的自然场景[6]。其中相机响应曲线的估计方法多种多样，Mann等人用Gamma函数估计相机响应曲线[7]，并假设多幅不同曝光图像之间的曝光比是已知的，从而根据观测数据估计其它参数;Debevec and Malik也假设曝光比是已知的，不过他们是在没有任何参数模型的情况下，力图恢复相机响应曲线的逆的对数函数[8];Mitsunaga等人用多项式函数拟合相机响应曲线的逆函数，然后根据观测数据估计出多项式系数和曝光比，它能够提供更加灵活的光照辐射模型[6]。

这类方法的关键是估计出准确的相机响应曲线和设计合理的色调映射函数，而这两项对于微小的误差具有较大的扰动性，因此，它的稳定性较难把握。

第二类方法是根据多幅不同曝光的图像序列，在图像域或者变换域融合，得到高动态的图像。Tom Mertens[9]提出基于金字塔（pyramid）变换域的低动态图像合成算法，综合考虑影响图像质量的对比度因素、饱和度因素和更好的表现度因素，设计出恰当的加权系数，在变换域将多幅图像融合，但是金字塔变换的计算复杂度较高，不宜实时计算。Kao[10]利用原始（raw）低动态图像的色度信息具有线性性的特点，将多幅低动态图像两两融合，联合使用全局直方图均衡和局部对比度增强的方法，最后获得了颜色深度较宽广的高动态图像，但是一般相机获取的图像通常经过一系列的非线性运算，例如色调曲线变换、gamma校正等，原始（raw）低动态图像不易获得。Jung[11]提出在梯度域将两幅低动态的图像融合，算法首先根据图像的亮度和对比度构造一个反映图像清晰与否的二进制矩阵，然后分别计算两幅图像的梯度，根据二进制矩阵得到融合的梯度矩阵。

3.2 动态图像合成中的去“鬼影”算法

为了避免合成图像中运动目标的错位出现，即“鬼影”现象的发生，科研人员从两个方面入手：

一是在“鬼影”形成前做处理，即，不采取直接合成的方式。例如，在文[6-8]中，首先计算相机响应曲线，以获得光照强度和数字图像像素亮度值的函数，进而根据色调映射函数还原出高动态的自然场景，避免了“鬼影”的出现;Grossberg and Nayar[12]提出基于累计直方图计算两幅不同图像之间的亮度转移函数，从而确定相机响应函数和曝光的比值，这样就不会受到相机抖动和运动目标的影响;文[13]采用基于统计的方法获得高动态图像，可以不必检测出运动目标，并且可以得到没有“鬼影”效应的高动态图像。但是这种方法对于多幅图像和大量的迭代运算产生的计算量较大。并且基于统计的方法不能完全去除“鬼影”人工效应，除非运动目标完全不属于背景。而且，上述方法在生成的高动态图像中会产生光晕（hale）现象，例如燃烧的烛焰。

二是在“鬼影”形成后，先检测出运动，再做后续工作对其“去除”。例如，Ward[18]采取运动补偿的方法弥补运动形成的“鬼影”，作者提出一种图像配准方法并应用到多曝光融合中，首先将多幅图像中的运动目标配准，能够避免运动目标的重影，但是对于背景信息的补充不够完美。

Grosch提出依据残差图像（the error map）[14]检测出运动目标。首先选择一幅视觉效果较好的输入图像作参考图像，根据相机响应函数和参考图像计算得到另外几幅输入图像的估计图像，再对估计图像和相机传感器获取的输入图像做残差，得到残差图像（the error map），残差图像中像素值大的点就认为是运动目标。这种算法对于运动目标不属于欠曝光区域（灰度值为0）或者曝光饱和区域（灰度值为255）的情况比较有效。但是，这种算法受相机响应函数和图像噪声的影响较大。

E.Reinhard[15]提出基于像素局部方差分割出由运动目标造成的“鬼影”区域，然后结合直方图找到最佳曝光的参考图像去填补“鬼影”区域，最终得到合成后的高动态图像。这种算法的优点在于想法直观，运算简单;缺点一是基于方差检测运动目标的过程中容易将其它固定目标的边界检测出来，误认为是“鬼影”区域，二是“鬼影”区域可分割成较大的块。

4.总结

在高动态图像获取的诸多算法中，基于硬件的方法在“成像的前端”扩大了光强的动态范围，解决了成像的根本问题，但是成本较大，导致目前的高动态相机价格比较昂贵。基于软件合成的算法在“成像的后端”扩大了图像的动态范围，即通过普通相机采集多幅低动态图像，然后基于一定的算法合成高动态图像，这种算法成本较低。但是，软件合成的算法是在损失了真实场景的动态范围之后，采取弥补的方式还原某些被“欠曝光”和“过曝光”的像素点，具有一定的缺陷。

参考文献

[1]E.Reinhard，G.Ward，S.Pattanaik，P.Debevec，High Dynamic Range Imaging：Acquisition，Display and Image-Based Lighting，Morgan Kauffman，2005.

[2]Mitsunaga T.and Nayar S.K.，“High dynamic range imaging：Spatially varying pixel exposures，”in IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2000，vol.I，472-479.

[3]J.Tumblin，A.Agrawal，R.Raskar，Why I want a gradient camera，in：Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition，2005：103-110.

[4]Berkin A，Wang Meng.A Review of high dynamic range imaging on static scenes[R].Boston University，2008.

[5]P.E.Debevec and J.Malik，Recovering high dynamic range radiance maps from photographs，in Proceedings of SIGGRAPH97，Computer Graphics Proceedings，1997：369-378.

[6]T.Mitsunaga and S.K.Nayer，“Radiometric self calibration，”IEEE Conf.on Computer Vision and Pattern Recognition，vol.1：374-380，1999.

[7]S.Mann and R.Picard，“On being’undigital’with digital cameras：Extending dynamic range by combining differently exposed pictures，”IS&T’s Annual Conf.;Society for Imaging Science and Technology，1995，vol.56：2446-2461.

[8]Debevec，P.E.，Malik，J.：Recovering high dynamic range radiance maps from photographs.In：Computer Graphics，Proc.SIGGRAPH.1997：369-378.

[9]Kautz Jan Mertens Tom and Reeth Frank Van，“Exposure fusion，”in Pacific Graphics，2007：382-390.

[10]Wen-Chung Kao.High Dynamic Range Imaging by Fusing Multiple Raw Images and Tone Reproduction.IEEE Transactions on Consumer Electronics，2008，54（1）：10-15.

[11]Jung Gap Kuk，Nam Ik Cho and Sang Uk Lee.High Dynamic Range（HDR）Imaging by Gradient Domain Fusion.ICASSP，2011：1461-1464.

[12]M.Grossberg and S.Nayar.What can be known about the radiometric response from images？In Proc.of European Conference on Computer Vision（ECCV）2002，pp.189-205.

[13]E.A.Khan，A.O.Akyuz，and E.Reinhard，“Ghost Removal in High Dynamic Range Images，”in Proc.IEEE Int.Conf.Image Processing，pp.2005-2008，2006.

[14]T.Grosch，“Fast and Robust High Dynamic Range Image Generation with Camera and Object Movement，”in Vision，Modeling and Visualization，pp.277-284.L.Kobbelt，T.Kuhlen，T.Acch and R.Westermann Eds，2006.

[15]E.Reinhard，G.Ward，S.Pattanaik，and P.E.Debevec.High Dynamic Range Imaging：Acquisition，Display and Image-Based-Lighting.Morgan Kaufmann，2005.

注：西安邮电大学校青年基金（ZL-2012-01）资助。