摄像中的超分辨率图像重建算法研究

开篇：润墨网以专业的文秘视角，为您筛选了一篇摄像中的超分辨率图像重建算法研究范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘 要 超分辨率图像重建技术就是利用信号处理的方法，从多幅低分辨率图像中提取更多细节信息，重建出一幅或多幅高分辨率图像的技术。文章介绍了超分辨率图像重建的概念，并且探讨超分辨率图像重建的意义和需求，然后着重研究了目前的几种主要超分辨率图像重建算法，并讨论了关于目前超分辨率图像重建算法的一些思考。

关键词 超分辨率；图像重建；规则化；最大后验概率

中图分类号：TN911.73 文献标识码：A 文章编号：1671-7597（2013）16-0044-02

在大多数的电子图像应用当中，人们在多数情况下迫切需要得到高分辨率图像。所谓图像分辨率，指的是组成一幅图像的像素密度，对同一个场景，用的像素数目越多，像素密度就越高，表示图像分辨率越高，这样图像给人们提供的细节就越多。

人们获得数字图像的方法大都采用CCD和CMOS图像传感器，分辨率提升的最直接方法便是利用传感器制造技术减小像素大小的方法增加空间分辨率（即增加单位面积内像素的个数）。但是随着像素大小的降低，会产生散弹噪声而影响图像的质量，目前像素的大小已经接近或达到了像素的极限。另一种方法，扩大光学传感器感光芯片的大小，这样会导致电容的增大，从而大电容会影响电子转移的速度，而且需要精密的光学系统，造价相当高，限制了其在很多商业场合的应用。

最近人们一直在研究利用信号处理技术方法由多张低分辨率图像重建得到高分辨率图像的技术，这种信号处理方法的优点在于成本低而且现有的低分辨率成像系统依然能够被充分利用。从低分辨率图像中重建高分辨率图像的可行性怎么样呢？我们下面分析一下，提供多个从同一场景拍摄的低分辨率图像，在拍摄多张低分辨率图像时，往往会有意或者无意的造成成像系统（相机）的微小运动，这样就可以得到同一场景的不同低分辨率图像信息，如果帧与帧之间的相对运动可以精确到亚像素级（小于一个像素大小），那么同一场景多张低分辨率图像，肯定比一张低分辨率图像所包含的信息量多，就能够从中重建出更高分辨率的图像（即超分辨率图像重建），三张同一场景的低分辨率图像，像素在场景的分布示意图，我们可以感觉到，利用低分辨率图像有可能恢复重建出高分辨率图像。

1 低分辨率和高分辨率之间的关系

关于高分辨率图像和低分辨率图像之间的关系，大多数学者都描述为如图1所示。

高分辨率图像经过运动扭曲、成像系统模糊和运动模糊、抽值下采样、加性噪声的影响而得到一系列低分辨率的图像。其数学模型可以表示为：

其中是第t张低分辨率图像的向量表示，，和分别表示低分辨率图像的宽和高。X则是理想高分辨率图像向量表示形式，其大小为，为高低分辨率之间的因子。是运动扭曲矩阵，扭曲包括全局或局部的：比如位移，旋转等，是模糊矩阵，和的大小同为，D为下采样矩阵，其大小为，是噪声向量，一般情况我们假设是高斯加性白噪声。t=1，2，…，p，共p张低分辨率图像。图像的超分辨率就是从一系列的低分辨率图像中恢复出高分辨率图像X。

2 超分辨率图像重建算法

根据上一节给出的关系可以看出，超分辨率图像重建就是一个逆向求解的过程，大致可以分为三个步骤，配准、插值、恢复。这些步骤可以分别或同时实施，运动信息的估计是在配准过程中实施的。这些步骤可以分别或同时实施，目前发表的超分辨率图像重建方法，主要有以下几类。

2.1 非均匀插值法

非均匀插值，是一种最直观的超分辨率图像重建方法，首先对低分辨率图像进行相对运动的估计和图像的配准注册，然后利用非均匀插值的方法，把多个低分辨率图像融合成一张模糊带有噪声的高分辨率图像，最后利用传统的去模糊图像恢复算法得到清晰的高分辨率图像。例如文献[3]利用基于图像梯度的配准方法估计低分辨率图像之间的相对运动，利用邻域加权平均的插值方法得到高分辨率模糊图像，最后利用传统的维纳滤波器进行图像去模糊和去除噪声。能够达到实时红外图像的配准和超分辨率图像重建。重建效果如图2所示。

通过比较，可以看出，重建结果明显的增强了图像的分辨率。

非均匀插值的超分辨率重建技术想法简单直观，而且所花费的运算量也比较少，能够达到实时应用的可能。但是这种方法对降质模型有限制，所有的低分辨率图像的模糊和噪音特性必须是相同，而且要求所估计的相对运动信息尽可能准确。另外得到的超分辨率效果不是最佳的。

2.2 规则化的超分辨率图像重建

超分辨率图像重建技术被人们称为是一个反问题，由于低分辨率图像信息不足够多或者模糊函数不太理想，很可能导致超分辨率问题成为一个病态问题。人们通常用规则化的方法解决此类问题。

其中一种规则化方法就是约束的最小平方（CLS）规则化。其主要思想是构建一个目标函数：

其中上式第一项为忠实数据项，第二项称为规则化项，起到约束最后解的作用。式子中的C一般都是高通滤波器。也就是限制最后的解是一个平滑的连带有限的高频信息的图像。A可以看作是一个拉格朗日数乘因子，也可以调节前后两项对于最后解的作用。通过使目标函数最小化来求解重建图像。这个目标函数最小化可以用迭代的方法来求解。也有一些文章利用多通道规则化进行超分辨率图像重建。还有的在去模糊和去噪声时，利用双边代总变分的规则化方法以达到清晰的高分辨率图像。

2.3 最大后验概率的方法

另外一大类方法，则是基于数理随机统计的方法，经典的就是贝叶斯方法，提供了一个灵活方便的先验知识模型。当原始图像的后验概率密度函数被建立，贝叶斯估计方法就可以用到。最大后验概率（MAP）估计：

上式中原始图像的先验概率P（X）和条件概率都可以通过定义原始高分辨率图像的特性，以及所加的噪声信息特性来限定。

2.4 不需要精确运动估计的超分辨率

在超分辨率图像重建当中，要求算法能够对低分辨率图像之间的运动达到精确的估计（亚像素级），不精确或者错误的运动估计在结果中往往会产生假相。所以，原来的很多超分辨率算法，在场景运动比较复杂的情况下，是很难适用。最近几年，有一些学者专注研究不需要精确的运动估计的超分辨率图像重建算法，并取得了可喜的成果。文献[8]利用运动估计的可能性的方法，来弥补运动估计不准确带来的不足。他们认为低分辨率图像的每一个像素的运动，都有一定的范围，而且向不同方向，不同距离运动的可能性也不一样。因此，他将具有复杂运动的分解为一些全局简单运动的累加：

其中是个简单的全局运动，则是一系列的对角线上有值其他地方为0的矩阵，对角线上的值代表该像素进行对应运动的可能性。然后建立对应的目标函数并且利用总变分的规则化，采用目标函数求解的方法来求解超分辨率图像。该方法可以用来进行视频超分辨率重建，也达到了一定的超分辨率效果。

相对于运动可能性的超分辨率图像重建，文献[6]发现，利用三维（图片加时间轴）的内核回归技术，他们发现，在计算三维内核回归时，有一些运动不变的特征，可以用来估计局部结构，利用像素邻域之间的关系，可以弥补小的运动估计错误。因此他们提出先进行粗略的运动估计，并对图像进行相应的运动补偿。然后利用三维内核回归以及目标函数最小化的方法估计出高分辨率模糊图像，最后利用双边带总变分的规则化图像恢复方法，得到清晰的高分辨率图像。

3 结束语

由一系列低分辨率图片重建出高分辨率图像的超分辨率技术，具有很强的实用意义，虽然已经取得一定的效果，仍是研究的热点。主要在以下几个方面充满挑战：一是如何能够很好的处理具有复杂运动物体的超分辨率图像重建；二是如何能够很好的处理彩色图像的超分辨率重建问题；三是超分辨率可以增强图像的空间分辨率，但是增强的尺度是否有理论极限问题，这些问题都值得我们去研究。

参考文献

[1]T.Komatsu，K.Aizawa，T.Igarashi，and T.Saito，/Signal-processing based method for acquiring very high resolution image with multiple cameras and its theoretical analysis，”Proc.Inst.Elec.Eng.，vol.140， no.1，pt.I，pp.19-25，Feb.1993.

[2]S.C.Park，M.K.Park，and M.G.Kang，“ Super-resolution image reconstruction： a technical overview，”IEEE Signal Processing Magazine，vol.20，no. 3，pp.21-36，May 2003.

[3]M.S.Alam，J.G.Bognar，R.C.Hardie，and B.J.Yasuda，/Infrared image registration and high-resolution reconstruction using multiple translation-ally shifted aliased video frames，0IEEE Trans.In-strum.Meas.，vol.49，pp.915-923，Oct.2000.

[4]A.K.Katsaggelos，Ed.Digital Image Restoration.Heidelberg，Germany：Springer-Verlag.Springer.vol.23，1991.

[5]M.C.Hong，M.G.Kang，and A.K.Katsaggelos，/Aregularized multichannel restoration approach for globally optimal high resolution video sequence，in SPIE VCIP，vol.3024，San Jose，CA，pp.1306-1317，Feb.1997.

[6]H.Takeda，P.Milanfar，M.protter and M.Elad，/Super-resolution without explicit subpixel motion estimation，" IEEE Trans.Image Process.vol.18，no.9，pp. 1958-1975，Sep.2009.

[7]M.Protter，M.Eland，H.Takeda and P.Milan-far， /Generalizing the nonlocal-means to super-resolution reconstruction，" IEEE Trans.Image Pro-cess.vol.18，no.1，pp.36-51，Jan.2009.

[8]M.Protter and M.Elad，/Super-resolution with probabilistic motion estimation，" IEEE Trans. Im-age Process.vol.18，no.8，pp.1899-1904，Aug.2009.

作者简介

孔繁庭（1971-），男，甘肃人，副教授，硕士，研究方向：图像处理。