图像采集系统中色彩复原模块的FPGA实现

开篇：润墨网以专业的文秘视角，为您筛选了一篇图像采集系统中色彩复原模块的FPGA实现范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

文章编号：1006-6268（2009）04-0048-05

摘要：图像的色彩复原是彩色图像采集系统的关键技术，决定了采集图像的质量。针对目前CMOS图像传感器广泛使用的Bayer格式图像，介绍了双线性插值法、梯度检测插值法和相关性插值法三种色彩复原算法；然后建立了基于Altera公司Cyclone II系列FPGA芯片的图像采集系统，并采用Verilog硬件描述语言在FPGA上实现了色彩复原算法。实验结果表明，该FPGA利用其丰富的内部硬件资源和并行处理的优势，能实时准确地完成色彩复原工作，同时，相关性插值法获得了最高峰值信噪比，恢复的彩色图像边缘清晰平滑。

关键词：色彩复原；现场可编程门阵列；Bayer型格式；相关性

中图分类号：TP391.41文献标识码：B

The FPGA Implementation of Color Reversion Module in Image Acquisition System

ZHAO Fu1,2,DU Xiao-qing1,2 , JIN Zhu1,2, ZHANG Jing1

(1.Opto-Electronic Engineering Department, Chongqing University, Chongqing

400030, China;2.Key Lab of Optoelectronic Technology and Systems of MOE,

Chongqing University, Chongqing, 400030,China)

Abstract: Color reversion is the key technology in color image acquisition system and it determines the image quality. Bayer pattern image is a popular image pattern for cmos image sensor. Three algorithms of color reversion which are bilinear interpolation method, gradient-sensing method and interpolation using signal correlation are introduced. An image acquisition system based on Cyclone II series FPGA was established and the color reversion algorithms were realized on FPGA using Verilog hardware description language. The experimental results indicate that FPGA can accurately accomplish color reversion in real time due to its abundant hardware resources and parallel processing technology, and our results also show that the maximum Peak Signal-to-Noise Ratio (PSNR) is obtained by signal correlation algorithm and the interpolated image has clear and smooth edge.

Keywords:color reversion; FPGA; bayer pattern; signal correlation

引言

近年来,数字图像采集系统的应用越来越广泛，出于对成本与体积的考虑,大部分的数字图像采集系统前端都采用一块CCD/CMOS作为接收图像的传感器，在其感光表面覆盖颜色滤波阵列(CFA)，如图1所示。CFA上每个格点仅允许通过一种颜色分量, 这样采集的图像每个像素的位置上只有一种颜色分量可以获得,所以要复原另外两种缺少的颜色分量,就必需通过相邻像素来估算,这个过程叫CFA插值。

目前使用最为广泛的是Bayer型格式的CFA[1]，Bayer型颜色滤波阵列具有很好的颜色信号敏感特性和颜色恢复特性,因此应用十分广泛。在这种格式的图像中,图像一半的像素分配给G分量,而R和B分量占图像的另一半像素，如图2所示。而选择好的插值方法对获取高质量图像是非常重要的。寻找一种适合数字图像采集系统使用的,在处理速度和成像质量方面均达到要求的插值方法就显得十分必要[2]。现场可编程门阵列（FPGA）器件是当今运用极为广泛的可编程逻辑器件。FPGA能在设计上实现硬件并行和流水线（pipeline）技术，这对于大数据量的图像处理工作是十分有利的。同时FPGA有很强的灵活性，可以依据需要进行重构配置，有较强的通用性，适于模块化设计。因此，本文采用fpga芯片建立实时的图像采集系统，通过Verilog硬件描述语言在FPGA上实现色彩复原算法，并选择最佳的色彩复原算法来编写图像采集系统中的色彩复原模块。

1常用色彩复原算法

1.1 双线性插值

这种插值法是最简单、基础的插值算法之一，属于单通道独立插值法，每个像素位置上缺少的彩色分量由3×3邻域内具有相同颜色分量的像素平均值获得[3]。如考虑图2中坐标(3,3)处，此处只有蓝色信息，为了得到全彩色信息，必须恢复出红色和绿色分量，利用双线性法可以得到：

由于双线性法是单通道之间独立插值，并且始终取3×3滤波器的平均值，忽略了细节信息，以及图片三个颜色通道之间的相关性，所以双线性法往往不能得到满意的插值效果，容易在细线状态结构的边缘处产生锯齿形图案。

1.2梯度检测插值法

这种方法先根据图像边缘的格式对缺少的G分量进行插值。在恢复绿色分量时，先通过计算梯度来检测边界方向，从而选择合适的插值方向[4-5]。以图2中的R44为例：假设α为该采样点水平方向的梯度，β为竖直方向的梯度，通过计算亮度分量来确定参考像素点可能的边界方向，其中：

与双线性插值的方法相比，梯度检测方法有两方面改进：一个是颜色错误像素的数量大量减少，另一个是边缘锐化。但这种方法也有两个缺点：一个是比双线性插值复杂,另一个是只检测垂直和水平的边缘,对非水平和垂直的边缘没有考虑。

前面介绍的两种通用的插值方法，都是用邻域内存在的G分量来计算缺少的G分量,而没有考虑R、G、B三个分量的相关性。实际上，R通道与G通道，以及B通道与G通道之间的光强度十分接近，差别不大，同时由于色差图像的灰度没有很明显的变化，说明图像各通道的强度的变化趋势是相似的，但色差图像仍然大致反映了原始图像的轮廓。除了边界的高频区域，色差图像跟三通道的分量图像相比，灰度的变化更加平滑，在一个相当大的邻域内都基本保持恒定，所以采用色差值来描述图像在一个小邻域内保持恒定比用图像的各通道信息在一个小邻域内保持恒定要更加准确合理[6,7]。

这种利用信号相关的插值方法虽然比双线性插值方法复杂,但计算量比边缘检测少,同时还考虑了图像R、G、B三个分量的关系,这样就不会因为某个分量变化过大而引起的色彩错误,减少了图像中的奇点。

2色彩复原算法的FPGA实现

本设计采用的是美国Altera公司的Cyclone II EP2C35F672C6芯片，其具有33216个逻辑单元，105个M4K RAM存储资源并内嵌了大量的硬件乘法器和PLL。丰富的硬件逻辑资源可以用来实现多个处理块的并行运算，从而大大提高的系统的整体处理速度。按常规的做法，插值运算都需要5×5的滤波器窗口，这样为了完成插值算法就至少需要4个行缓冲来保存图像数据，硬件开销非常大[6~8]。在综合考虑了图像质量和硬件处理速度之间的平衡的基础上，本设计采用了5×3的处理窗口，参照上面相关性插值的计算方法，仍以B33处的G分量计算为例，我们损失一个相关交比数据B53，以纵向梯度的B33来代替。这样不仅引入了相关性的运算[9]，而且还保证了完成插值算法仅需要使用2个行缓冲来保存图像数据，降低了硬件资源的消耗，与传统的双线性插值算法的硬件开销基本在一个数量级上。因而很大的提高了相关性插值方法的应用范围和前景。

具体的硬件结构设计如图3所示，调用两个行缓冲RAM来保存两行数据，配合相应的寄存器构成一个5×3的窗口，来进行相关性插值处理。

图3 色彩复原模块结构图

在用Verilog硬件描述语言编写好色彩复原模块后，我们利用Altera公司的quartus II内部的嵌入式逻辑分析器SignalTap II在不影响设计功能的情况下来观察设计的内部信号波形，可以得到硬件实际的输出结果。从波形图可以看出结果基本满足设计要求。

3结果与分析

对前面介绍的三种色彩复原算法进行了插值计算，输出效果如图5所示。从结果图可以直观看出，信号相关插值法较前两种方法,尤其较双线性插值方法锐化了图像边缘,提高了视觉质量。

其中MSE为均方误差，M和N代表图像尺寸为M N ，f0(i,j)和fr(i,j)分别代表原始图像和重构图像在第i行、第j列的强度分布。

在这里我们把彩色图像分成 R、G、B 三个通道独立比较，PSNR反映了原始图像与重构图像相符合的程度，PSNR 越大，则两者越接近。用PSNR公式(15) 对以上结果图评估,结果见表1。从表1中可以看出信号相关插值法得到的图像信噪比最好,比双线性插值方法高了5 dB。

4结 论

在利用FPGA进行图像采集系统中的色彩复原时，我们采用了Altera公司的Cyclone II EP2C35F672C6芯片，利用其丰富的内部硬件资源和并行处理的优势，实时、准确地完成了色彩复原的工作。同时我们对滤波窗口进行了改进，用2个行缓存代替了传统的大容量存储单元，利用改进后的仅使用5×3处理窗口的相关性插值法恢复的彩色图像边缘清晰、平滑，而且节省了大量的硬件资源，从而在图像质量和硬件开销及处理速度之间取得了平衡，满足了图像采集系统的要求。

参考文献

[1] B.E.Bayer, Eastman Kodak Company. Color Imaging Array[P]. US.Patent 39,710,651,975.

[2] 傅俊诚. 基于FPGA的数字视频摄像系统的研究[D].哈尔滨工业大学硕士论文,2005

[3] Sakamoto T,Nakanishi C,Hase T. Software Pixel Interpolation for Digital Still Cameras Suitable for a 32-bit MCU[J]. IEEE Trans. on Cmsumer Electronics,1998,44:1342-1352.

[4] Hibbard R H. Apparatus and Method for Adaptively Interpolating a Full Color Image Utilizing Luminance Gradients[P]. US. Patent5,382,976

[5] Laroche C A. Apparatus and Method for Adaptively Interpolating a Full Color Image Utilizing Chrominance Gradients[P]. U.S. Palent 5,373,322

[6] Kakarala R,Baharav Z. Adaptive Demosaicing with the Principal Vector Method[J]. IEEE Trans on Consumer Electronics.2002,48(4):932-937

[7] Hirakawa K, Parks T W. Adaptive Homogeneity- Directed Demosaicing Algorithm[J]. IEEE Trans.on Image processing.2005,14(3):360-369

[8] ～[9] 略

作者简介：赵釜（1983-），男，硕士研究生，主要从事光电成像技术及系统研究，E-mail: .cn。

“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文”