基于可控金字塔的立体图像质量评价方法
开篇：润墨网以专业的文秘视角，为您筛选了一篇基于可控金字塔的立体图像质量评价方法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘 要:在分析和模拟人眼感知立体图像方式的基础上,提出了一种评价立体图像质量的方法。该方法结合人眼视觉特征和结构相似度算法对立体图像质量进行评价,利用可控金字塔模拟人眼视觉特性中的多通道效应,同时采用立体图像左右视图的特征点的匹配算法对立体图像的立体感进行评价。实验结果表明,该方法与主观评价结果基本一致,能够更好地反映立体图像质量及立体感。
关键词:人眼视觉系统;立体图像;可控金字塔;立体感;图像匹配
中图分类号: TP317.4 文献标志码:A
Objective quality evaluation method of stereo image based on steerable pyramid
WEI Jinjin*, LI Sumei, LIU Wenjuan, ZANG Yanjun
(
College of Electronic Information Engineering, Tianjin University, Tianjin 300072, China
)
Abstract:
Through analyzing and simulating human visual perception of stereo image, an objective quality evaluation method of stereo image was proposed. The method combined the characteristics of Human Visual System (HVS) with Structural Similarity, using steerable pyramid to simulate multichannel effects. Meanwhile, the proposed method used stereo matching algorithm to assess the stereo sense. The experimental results show that the proposed objective method achieves consistent stereoscopic image quality evaluation result with subjective assessment and can better reflect the level of image quality and stereo sense.
Key words:
Human Visual System (HVS); stereo image; steerable pyramid; stereo sense; image matching
0 引言
与平面图像相比,立体图像能带给人更真实的视觉体验与临场感,近年来立体成像技术逐渐成为国内外学者的研究热点,它主要用于3DTV、自由视点TV(Free viewpoint TV, FTV)、3D照相机、3D电影、远程教育、医疗、模式识别、虚拟视点合成等诸多方面[1-2]。然而与平面图像/视频相比,立体图像/视频的采集、传输、存储数据量至少增加了1倍,在进行立体信息处理的同时如何保证立体图像/视频的质量将直接影响立体成像技术的发展。因此,在图像采集、编码压缩、网络传输等领域建立有效的图像质量评价机制具有重要的意义。
针对平面图像质量评价方法,立体图像质量的评价也可分为主观评价和客观评价两种方法。目前,国内外对立体图像质量评价方面的研究还很有限:文献[3]提出对压缩的立体图像进行评价,这种方法从图像质量、清晰度、深度和眼睛疲劳等方面评估,影响图像质量的因素考虑得较全面,但不易实现;文献[4]介绍了4种可用于3D图像质量评价的2D图像质量评价方法,但对立体感知如何评估并没有做专门的研究;文献[5]提出了一种基于峰值信噪比(Peak SignaltoNoise Ratio, PSNR)的立体图像质量评价方法,直接将PSNR从平面迁移到立体图像中,PSNR评价方法并没有考虑相邻像素之间的相关性,而且没有对图像质量和立体感知评价结合后与主观质量的相关性进行分析;文献[6]提出的一种基于相似度的立体图像对中右视点图像质量评价方法,只评价了右视点图像质量;文献[7]结合深度信息的评价,建立了一个立体图像客观评价模型的框架,但获得的深度图存在准确性问题,模型输出值与主观感知的一致性仍有待提高;文献[8]提出的基于视差的分割区域特征方法,由于无参考图像,模型参数和权重矢量选择比较麻烦;文献[9-10]提出的都是从图像质量和立体感知两方面对立体图像进行评价,但对立体感的评估只是提取左右视图的绝对视差,这并不能真正代表立体感的好坏。因此,现有的立体图像质量客观评价模型并没有充分结合人眼视觉特性, 或者只是用左右视图绝对视差来评价立体感,最终评价结果与主观感知的相关性较差。本文提出一种基于可控金字塔的立体图像质量评价方法,充分结合人眼视觉特性,同时运用特征匹配方法对立体感的质量进行评价,提高了客观评价模型与主观感知的相关性。
1 立体视觉特性
由于立体图像是在人的大脑中形成的,因此,立体感知更加依赖于人类的视觉系统(Human Visual System, HVS)。通过对人类的视觉系统以及视觉生理心理等方面的研究发现,人类的视觉感知有3个显著的特性[11],即亮度幅度非线性特性(Weber Law)、对比度敏感度带通和多通道特性及掩盖效应。亮度幅度非线性使人眼对于亮度的变化有一个感知阈;多通道效应表现了感知图像的带通性质;视觉分辨率与对比度敏感度有关;掩盖效应使得某些激励的作用加强或者减弱。在立体图像质量评价中引入这些视觉感知特性可提高评价模型的准确性。以下将针对视觉感知的3个特性进行具体分析。
1.1 亮度幅度非线性
视觉系统分辨细节的能力用能分辨的相邻两点的视角θ的倒数表示,其值与该两点在视网膜上的成像位置有关,以黄斑区为中心向四周作非线性下降,它与亮度的关系取决于相对亮度的变化,而不是取决于整幅图像的基底亮度,那么亮度感觉的增量ΔS可用相对亮度的增量来度量,即:
ΔS=KΔBB(1)
其中:B为绝对亮度;ΔB为相对亮度;K为常数,与整个图像平均亮度有关。图像平均亮度较暗或较亮时,选择较小的K值,通常根据人眼正常亮度范围,K可取值为1。对式(1)积分后得到感觉亮度:
S=K ln B+K0=K′ lg B+K0(2)
其中:K′=K ln 10,K0为常数。由式(2)可知,人眼的感觉亮度S与图像实际亮度B成对数线性关系,称为韦伯费赫涅尔定律。
1.3 多通道特性和掩盖效应
视觉皮层的细胞对不同的视觉信息具有不同的激励,比如视觉皮层对颜色、频率和方向等有不同的敏感性,而所有这些特征激励是在视觉系统的不同通道中进行处理的,这些通道之间并不是彼此孤立的,而是通过相互作用相互影响以产生最佳视觉。对于静止灰度图像来说,图像的多通道特性可由它的空间频率和方向性来表征,只要用足够多的适当的调谐部件,图像在视觉皮层的整个方向带和频率带都可以被完全覆盖,即可以完全模拟视觉系统的多通道,通常用一组分层结构的滤波器来模拟人眼的视觉多通道特性。当一个激励单独存在时,很容易对这种激励进行辨识,如果由于另一个激励的存在导致它完全不能或者不容易被检测到,即被掩盖了,这就是掩盖效应。 在描述多通道中激励之间的相互作用时,掩蔽效应是必须考虑的一种非常重要的现象。
根据掩盖效应的特点,将一幅图像通过分层滤波器分解到多个空间频率和方向的子带中,这样每一个独立的子带信号就是图像对人眼视觉系统不同感知通道的激励。
2 基于人眼视觉特性的立体图像质量评价模型
2.1 可控金字塔分解
人眼视觉多通道之间具有线性或正交相位、位移不变性、一致的频率响应等特性,这一结构特征与可控金字塔分解[13]有很好的拟合性。本文在立体图像的质量评价中,通过可控金字塔对HVS特性中的视觉对比灵敏度带通特性和多通道特性进行建模。
可控金字塔变换能够把图像分解成具有不同尺度、 多方向的子带系列,它不仅保持了紧支集正交小波的特点,而且具有平移不变性及方向可操纵等优点,因此可以有效地抑制吉布斯效应, 准确地检测出目标的边缘、纹理以及奇异点等特征。参照Winkler[13]提出的PDM(Perceptual Distortion Metric)模型,本文采用可控金字塔分解方法对图像进行4个方向的5层带通分解,另外还有一个低通子带(见图1)。