图像超分辨率重建技术及研究

开篇：润墨网以专业的文秘视角，为您筛选了一篇图像超分辨率重建技术及研究范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

【摘要】本文介绍了视频编码中的图像超分辨率技术的技术，对图像处理基础进行介绍：什么是图像，图像的基本类型，图像模糊，图像恢复，图像增强和图像超分辨率等。介绍图像处理关键技术的应用背景与技术发展，包括基于插值的超分辨率，基于重建的超分辨率，基于学习的超分辨率。及其中存在可改进的问题提出解决思路。

【关键词】图像处理；超分辨率；插值；重建；学习；稀疏表示

1.引言

图像处理相关技术在气象、视频监控、地质勘探以及航空航天等领域也都有广泛的应用，随之而来的是人们对图像分辨率的要求越来越高，硬件发展也随之提高，许多好的硬件设备可以实现高分辨率图像的拍摄，那为什么还需要超分辨率重建恢复呢？首先，高分辨率的设备价格昂贵；其次，每一种设备都有它的极限，受到硬件设备的限制很难得到真正高分辨率的图像。目前基于超分辨率研究主要分为：基于插值的，基于重建的和基于学习的。

2.关于图像的基本概念

（1）图像分类

从图像空间坐标和明暗程度的连续性，图像可分为模拟图像和数字图像，它们具有不同的表示方法。模拟图像：图像是连续的，即用函数f（x，y）表示图像。其中：x，y表示空间坐标点的位置f表示图像在点（x，y）的某种性质的数值，如亮度、灰度、色度等。f，x，y可以是任意实数。数字图像：I（r，c）是对f（x，y）的离散化后的结果。r表示图像的行（row）；c表示图像的列（column）；I表示离散后的f；I，r，c的值只能是整数。

（2）图像失真

在许多实际的图像采集处理过程中，图像中像素之间的空间关系会发生变化，这时可以说图像产生了几何失真，需要通过几何变换来校正失真图像中的各像素位置以生新得到像素间原来应有的空间关系。运动模糊和散焦模糊是两类常见的模糊方式。实际拍摄过程中，由于摄像机的抖动或者被拍摄对象的运动会导致运动模糊；散焦模糊则是由于聚焦不准而造成的。

（3）图像采样

图像的采样分为图像和图像上采样。下采样又叫图像缩小，下采样可以降低图像分辨率；上采样又叫图像放大，可以增加图像的分辨率。图像的下采样是不可逆的过程。因为由高分辨率图像到低分辨率图像是“一对多”的映射关系。

（4）图像分辨率

常用的图像分辨率可分为：图像空间分辨率、图像幅度分辨率以及图像显示分辨率等。这些分辨率的大小，都直接影响着图像的质量。

（5）图像恢复和增强

图像恢复（Image Restoration）：考虑降质原因，分析降质模型，利用退化现象的某种先验知识，把已经退化了的图像加以重建或恢复。就是使退化图像恢复本来面目。例如：去运动模糊、几何失真校正。如果要用某一客观标准来度量，则为某种准则下的最优估计。

图像增强（Image Enhancement）：目的是为了改善图像的视觉效果，或者是为了更便于人或机器的分析和处理，提高图像的可懂度。在不考虑降质原因的情况下，用试探的方式对图像进行加工，力求改善图像的质量，如突出了一部分信息，同时可能压制另一部分的信息。例如：平滑、锐化、直方图处理等。

3.图像超分辨率技术

目前的图像超分辨率研究可分为3个主要方法：基于插值、基于重建和基于学习的方法.

（1）基于插值技术的方法

这类方法首先估计各帧图像之间的相对运动信息，获得高分辨率图像在非均匀间距采样点上的像素值，再通过非均匀插值得到高分辨率栅格（HR Grid）上像素值，最后采用图像恢复技术降噪和去模糊。

（2）基于重建的超分辨率

过去的三十多年，基于重建的图像超分辨率重建算法被广泛的研究。这类方法的原理是利用前向观测模型对输入的多帧低分辨率图像进行一致性约束，并且结合一定的图像先验信息（通常是平滑性约束）进行求解。运动估计和选择先验信息是该方法中比较重要的两个步骤。几种比较典型的基于重建的超分辨率重建方法，包括迭代反向投影法、最大后验概率（MAP）方法和凸集投影法（POCS）。

（3）基于学习的超分辨率

此种方法是基于这样的假设前提：自然界的图像具有相似的结构表示基元，这里的结构通常指高频信息。该方法包括训练和重建两个阶段。其中，训练过程如下：①选择大量各类结构的自然图像；②分别对高低分辨率图像提取各自高频特征；③对高低分辨率特征图像分块，并随机抽取一定量的高低分辨率特征块作为训练样本；④对于高低分辨率训练样本中每一对特征块，约束它们具有相同的稀疏表示系数，最后学习到一对过完备高低分辨率字典。在重建阶段，对于输入低分辨率的图像，首先对其提取相应图像特征，然后将其分块，对于每一个图像特征块找到其关于低分辨率字典的稀疏表示系数，利用此表示系数和高分辨率字典可以由稀疏表示理论得到相应的高分辨率图像特征块，最后恢复整幅高分辨率图像。

4.算法中存在的问题及改进思路

基于插值的方法没有考虑低分辨率图像的像素值不是高分辨率图像像素值的理想采样值，而由高分辨率图像像素值经过空间平均和卷积得到；其观测模型仅适用于所有低分辨率图像模糊和噪声都相同的情况，局限性较大；另一方面就是没有加入额外的高频信息，使得很难恢复出图像中的细节信息。基于重建的方法虽然可以加入先验信息，但在4倍以上的抽取率情况下恢复效果较差，基于稀疏表示的学习方法可以较好地保持邻域关系，且可以恢复更多的图像细节信息。但它的缺点是稀疏编码阶段的计算量较大，另一方面，得到一个具有广泛表示能力的过完备字典较难。

Rubinstein等人（R.Rubinstein et al，2010）提出了一种结合了分析型字典和学习型字典各自优点的稀疏性字典学习方法。他们假设一个稀疏性字典具有以下形式，D=BA，其中B是一个固定的分析型字典，而A是一个稀疏矩阵。由于字典B对字典D的构造施加一种强制的结构约束，使得字典D具有使用的广泛性和快速的算法，同时矩阵A使得字典D具有较好的自适应性。另外，D中基元的结构性约束可以减少字典训练所需的样本数，且增强了字典的抗噪性能。但是稀疏性字典只是迈向我们所需的理想字典的第一步，还需要做进一步的研究来设计结合了两种类型字典各自优点的更有效字典。

那么对于如何提高稀疏字典的多尺度性和几何不变性呢，我们假设一个基于稀疏字典设计D=BA的模型，D=BA+H。其中B是一个固定的分析型字典，而A是一个稀疏矩阵。H为高频信息，增加了细节信息，进一步对图像进行恢复与增强，H可以由样本训练得到。可以通过改进的聚类方法建立学习字典的索引，通过索引寻找最佳匹配原子，从而大大地减少了蛮力搜索的时间开销。

参考文献

[1]冈萨雷斯.2003.数字图像处理[M].北京：电子工业出版社.

[2]吉宏诺夫A.H.1979.不适定问题的解法[M].北京：地质出版社.

[3]王彦飞.2007.反演问题的计算方法及应用[M].北京：高等教育出版社.

[4]宋锐.2009视频和图像序列的超分辨率研究[D].西安：电子科技大学.

[5]D.Bertsekas.2003.Nonlinear Programming[M].Athena Scientific，Nashua，NH，U.S.A.

[6]D.Keren，S.Peleg，R.Brada.1988.Image sequence enhancement using sub-pixel displacements.

作者简介：叶兆丰（1990―），男，福建政和人，武汉大学信息部硕士研究生，研究方向：图像处理。