多通道高清信号综合图形显示系统设计

开篇：润墨网以专业的文秘视角，为您筛选了一篇多通道高清信号综合图形显示系统设计范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘 要：设计了以基于高性能DSP和大规模FPGA芯片为核心的多通道高清信号综合图形显示系统，具有较强的灵活性和扩展性，实现了对Camera Link、DVI及LVDS等多通道多种格式视频信号的解码、实时处理以及输出。提出一种基于纹理特征的视频缩放线性插值算法，基于纹理特征确定像素点的方向，通过线性插值算法实现视频缩放。实验结果表明，高效视频缩放算法在保持传统插值算法低运算复杂度和模型简单优势的同时，大大减少了图像边沿区域的信息损失，消除了双线性插值算法固有的边缘锯齿现象。系统可同时接收一路1920×1080数字视频、一路1600×1200DVI视频信号和20路LVDS雷达数据，并可以生成一路分辨率1600×1200DVI视频输出信号，能够对输入信号进行实时缩放和融合处理。

关键词：多通道信号；综合显示；视频缩放；纹理特征；嵌入式

中图分类号：TP391.9

新一代多传感器综合处理应用提出了海量数据采集、实时融合和显示的新需求。当前，基于嵌入式平台的多传感器数据的高效缩放和实时显示已成为研究热点[1-6]。文献[1]以高性能FPGA作为核心处理器，实现了对DVI及PAL等多种格式视频信号实时处理，输出分辨率达到1600×1200，处理时间最长不超过3ms。文献[2]基于以大规模FPGA和M9图形处理芯片，可同时接收1路差分PAL-D信号与1路差分VGA信号，并生成分辨率1024×768的数字RGB输出信号。文献[3]设计了一种基于FPGA和SOPC为控制核心的软硬件协同处理的实时图像处理系统。

针对视频缩放过程，文献[2]综合考虑视觉效果、算法复杂度以及FPGA计算资源等因素后，采用双线性插值算法实现视频分辨率格式的转换。文献[4]用显著区域、语义内容和结构信息的特征来检测图像中的重要区域，对子图进行自适应采样，图像中的显著物体保护较好，但复杂度较高，不适合在嵌入式平台应用。文献[5][6]分别借助Catmull_Rom和拉普拉斯边缘检测算法设计插值图像缩放器结构，在FPGA平台上实现了并行处理算法，节省了资源、降低了开销，又提高了图像质量。

为了满足多通道高清信号的输入、高效缩放和实时显示需求，本文设计了新的高性能多通道高清信号综合图形显示系统。

1 系统体系结构

以高性能FPGA和双路DSP为核心实现了多通道高清信号综合图形显示系统，主要由多通道高速信号采集显示模块、数据格式转换模块、数据综合和处理模块三部分构成，硬件结构如图1所示。

1.1 多通道高速信号采集显示模块

通过Camera Link接口接收一路来自高清摄像机的分辨率为1920×1080数字视频，采用DS90CR288A芯片，最大时钟频率85MHz，最大带宽765MB/s。

接收一路高清DVI视频信号，选用DVI接收芯片SIL1161，芯片支持24位数据，25-165MHz时钟频率，视频分辨率可达1600×1200。

基于FPGA芯片提供的20路LVDS接口接收雷达数据。

输出一路高清DVI视频信号，DVI发送芯片TFP410，芯片支持24位数据，25-165MHz时钟频率。

图1 多通道高清信号综合图形显示系统硬件体系结构

1.2 数据格式转换模块

各种数字视频流经过FPGA芯片进行必要的格式预处理，采用Xilinx公司Virtex5系列FPGA芯片作为控制核心。FPGA通过用于高速串行数据通信的GTX收发器实现4×的Rapid IO设计，实现10Gbps的高速通信能力。

为满足视频融合需要帧缓存的需要，数据格式转换模块设计了8个Bank的ZBT SRAM缓存，每个Bank为2M*36bits。由于DVI最大分辨率不小于1600X1200，色彩深度不低于24bits，刷新率不低于每秒50次，而SRAM作为单口RAM，不能同时读写，为了保证DVI显示效果，DVI采用两个Bank的SRAM进行双缓存，而TV和雷达由于数据量小，刷新率低，每路视频可以采用单个Bank的SRAM进行缓存。

1.3 数据综合和处理模块

采样得到的数据经FPGA格式预处理后，传输到DSP芯片中实现多路信号的缩放和融合处理。考虑到FPGA与DSP的高速通信以及多片DSP间的协同处理，采用2片TMS320C6455（简称C6455）芯片进行数据处理。

C6455可达到1GHz的时钟频率，增强型C64x+DSP内核。采用修正的哈佛总线结构，具有一套256位的程序总线，两套32位的数据总线和一套32位的DMA专用总线。内嵌了SRIO（Serial RapidIO）模块，支持SRIO 1x/4x串行协议。片内集成了2M字节的高速存储器。通过与DSP的EMIFA总线实现无缝连接，采用2片MT47H256M8，构成高速内存；采用2片AM29LV256M进行扩展，构成FLASH存储空间，实现加电自举功能。

2 基于纹理特征插值的视频缩放算法

2.1 视频插值算法

视频插值技术是图像处理的重要内容之一，为满足实际应用需求，经典的插值算法包括最近邻域取样法、双线性插值法、双三次插值法等。双线性插值算法简单，在低分辨率的视频缩放时有较好的视觉效果且易于硬件实现，被广泛采用。

双线性插值法是通过映射关系，算出缩小图像某点在原始图像中的浮点坐标，通过利用浮点坐标邻近2×2的4个原像素点进行加权求和计算，插入点的像素值如图2所示。

插值权重为它们距离待插点的几何距离，待插入的像素值如公式（1）所示：

f（i+μ，j+v）=（1-μ）（1-v）f（i，j）+（1-μ）vf（i，j+1）+μ（1-v）f（i+1，j）+μvf（i+1，j+1） （1）

其中i和j均为负整数，μ和v为[0，1]区间的浮点数，f（i，j）是当前视频帧中的像素点（i，j）位置的亮度值，f（i+μ，j+v）是当前视频帧缩放后像素点（i+μ，j+v）位置的亮度值。

图2 线性插值示意图

但是随着高清视频的广泛应用，双线性插值缩放的高清视频在显示时存在边缘锯齿和平滑过程导致的边缘模糊的两个缺陷。

2.2 纹理特征检测

图像纹理是图像基本特征之一，考虑到相邻像素间纹理不存在剧烈变化，而且其纹理是存在方向性的，因此利用视频编码中的帧内预测的思路建立视频纹理特征方向的预测过程[7]。

设计思想是利用视频待插值块的左边一列和上边一行像素（如果存在），设计图3所示的9种预测方向。

块内各像素点预测值的具体计算公式参见文献[8]，遍历所有的预测方向，计算绝对误差和SAD，如公式（2）所示，选择最小的SAD预测方向为边缘方向。

（2）

其中f（i，j）和ref（i，j）分别表示视频待插值块和参考块中第i行j列的象素值，M和N分别表示块中包含的水平、垂直方向象素数。实际计算中，待插值块为大小4×4。

图3 插值点示意图

2.3 改进的线性插值视频缩放算法

通过纹理特征分析可以找出待插入点周围的方向，根据9种不同方向分别进行不同的插值过程，用以减少锯齿和图像模糊的缺陷，具体过程如下：

（1）通过映射关系，算出缩小图像某点在原始图像中的浮点坐标，获取浮点坐标邻近2×2的4个原像素点。

（2）将获取到的2×2子块置于图3中4×4待插值块的中心，按照2.2节的描述分别计算9种方向的SAD值，选择最小的SAD预测方向为纹理方向。

（3）按照线性插值计算，但是输入的相关点要根据方向进行选择，如图3所示其中f0、f1、f2、f3是浮点坐标邻近的4个原像素点。

对于垂直0、水平1和均值2的纹理方向，输入点分别固定为f0、f1、f2、f3；

对于左对角3的纹理方向，如果带插值点位于直线3上区域，则输入点分别固定为f0、f1、f3、f6、f14；如果带插值点位于直线3下区域，则输入点分别固定为f1、f2、f3、f8、f12；位于直线3，则输入点分别固定为f1、f3、f7、f13；

对于右对角4的纹理方向，如果带插值点位于直线4上区域，则输入点分别固定为f0、f1、f2、f5、f9；如果带插值点位于直线4下区域，则输入点分别固定为f0、f2、f3、f11、f15；位于直线4，则输入点分别固定为f4、f0、f2、f10；

对于垂直＼右对角5的纹理方向，如果带插值点位于直线5上区域，则输入点分别固定为f1、f2、f5、f11；如果带插值点位于直线5下区域，则输入点分别固定为f0、f3、f5、f11；位于直线5，则输入点分别固定为f5、f11；

对于垂直＼左对角7的纹理方向，如果带插值点位于直线7上区域，则输入点分别固定为f0、f3、f6、f12；如果带插值点位于直线7下区域，则输入点分别固定为f1、f2、f6、f12；位于直线7，则输入点分别固定为f6、f12；

对于水平＼右对角6的纹理方向，如果带插值点位于直线6上区域，则输入点分别固定为f0、f1、f9、f15；如果带插值点位于直线6下区域，则输入点分别固定为ff2、f3、f9、f15；位于直线6，则输入点分别固定为f9、f15；

对于水平＼左对角8的纹理方向，如果带插值点位于直线8上区域，则输入点分别固定为f0、f1、f8、f14；如果带插值点位于直线8下区域，则输入点分别固定为f2、f3、f8、f14；位于直线8，则输入点分别固定为f8、f14。

3 实验结果及分析

以典型的256×256的lena图像为例，缩小比例为0.5。从图4处理结果看，双线性插值法总体上对图像的细节保留的较好，但在图像轮廓上出现了锯齿。而本文算法在细节上出现了少许模糊，但没有锯齿现象，主观上可以满足视频缩放的需要。

（a）原始的

（b）双线性的 （c）提出的

图4 Lena图像缩放示意图

整个多通道高清信号综合图形显示系统满足了对多通道高分辨率视频综合处理的要求，同时本系统的可扩展性可以用于实现更加完善的视频处理功能。基于硬件平台，结合FPGA和DSP程序实现了一路1920×1080数字视频、一路1600×1200DVI视频信号和20路LVDS雷达数据的输入信号经缩放融合后生成的一路分辨率1600×1200DVI视频输出信号。叠加后的视频信号完整保留了原信号的信息，图像显示稳定、清晰，满足显示单元对数据处理的要求。

4 结束语

在分析嵌入式综合图形显示系统需求的基础上，提出一种基于纹理方向的视频缩放线性插值算法，基于纹理特征确定像素点的方向，通过线性插值算法实现视频缩放。以DSP和FPGA为核心实现了一种功能强大的嵌入式多通道高清信号综合图形显示系统，能够对输入信号进行实时缩放和融合处理。解决现代多传感器综合处理应用提出的海量数据采集、融合和显示的需求。

参考文献：

[1]尤力，夏伟杰，周建江.基于FPGA机载实时视频图形处理系统的设计[J].电子科技，2011（11）：63-65.

[2]谢建春，杨敬宝，李翠娟.新型机载嵌入式显示单元的设计与实现[J].航空计算技术，2011（06）：109-111.

[3]沈淦松，叶玉堂，刘霖，刘娟秀.FPGA软硬件协同处理实时图像处理系统[J]. 光电工程，2012（10）：143-150.

[4]朱运，沈一帆，姜昊.基于内容划分和傅里叶分析的图像缩放算法[J].计算机工程与设计，2013（01）：225-229.

[5]吕荣国，蒋林，杨飞.图像缩放的研究与FPGA设计[J].计算机技术与发展，2011（12）：205-208.

[6]史再峰，姚素英，赵雷，刘丰.基于边缘方向插值的视频缩放算法及电路设计[J].吉林大学学报（工学版），2009（03）：1119-1124.

[7]孟庆磊，姚春莲等.一种面向H.264/AVC的快速帧内预测选择算法[J].北京航空航天大学学报，2007（02）：219-223.

[8]ISO/IEC FDIS 14496-10.Information technology-Coding of audio-visual objects Part 10：Advanced video coding. Final Draft International Standard，2003.

作者简介：张龙（1979-），男，工程师，学士学位，计算机科学与技术，主要研究方向为平台电子系统软件总体设计与综合集成技术，电子信息系统综合设计技术；孟庆鑫（1980-），男，工程师，硕士，计算机科学与技术，主要从事为系统总体技术、开放式系统构架技术、系统集成方面的研究与应用。

作者单位：中国电子科技集团公司电子科学研究院，北京 100041