物联网的智能视频接入终端
开篇：润墨网以专业的文秘视角，为您筛选了一篇物联网的智能视频接入终端范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
(1.西安电子科技大学， 陕西 西安 710071; 2.陕西电子工业研究院， 陕西 西安 710065;
3.郑州市城市建设投资集团有限公司， 河南 郑州 450000)
摘 要：通过智能视频分析系统(Intelligent Video System，IVS)可在计算机图像分析技术的基础上，完成场景中背景和目标的分离任务，进而完成分割目标的追踪、定位与识别。为了在物联网的架构上实现多个智能视频终端的互联，并在此基础上实现多目标的动态感知，文中从嵌入式智能视频处理的角度，探讨了基于网格的智能行为分析系统的结构和功能，给出了一个具体的视频增强处理的实例和嵌入式智能相机的架构。
关键词：智能视频分析； 物联网； 网格； 智能相机； 嵌入式系统
0 引 言
智能视频分析系统(Intelligent Video System，IVS)大多利用计算机的图像分析技术来完成将场景中背景和目标分离的任务，并进一步完成目标分析、追踪、定位，进而进行目标识别的更复杂的相关任务。随着嵌入式DSP和FPGA技术的发展，在采用高清传感器取代传统的摄像机加图像板卡的基础上，取而代之的是具有网络接入功能的智能相机(Smart Cameras)。
智能相机中集成的各种智能视频分析技术包括目标入侵检测算法、目标跟踪算法，低照度图像增强算法、图像去雾算法等等。同时，每一个智能相机均可通过自组织的组网技术连成一体，每一个智能相机都是一个节点，通过成百上千个智能相机构成一个可以适应城市监控体系、紧急救援和应急联动、甚至是战场环境分析的分布式智能网格系统，从而对目标进行大范围的准确追踪、定位和识别。
特别指出，利用智能相机作为终端接入的物联网\[1\]系统架构和应用研究在国内外尚不多见。特别是基于视频分析的智能感知系统的研究在我国的某些领域还属于空白。因此，本文将探讨基于智能相机的网格物联网，并将其用于智能交通、预警、安防、消防、安全生产监督管理、航空航天和军事信息一体化建设等应用中\[26\]。
通过将多个智能相机组成的阵列部署在现场，并与设在相关载体上的传感器有机融合，然后通过实时数据采集与分析、监视信息的分布式获取，即可形成全方位、全时域的多维监视、预警和管理体系。
与传统的基于传感器架构的物联网结构不同，使用智能相机作为接入节点的嵌入式网格系统具有可重构和自组织能力。智能相机不仅可以把过去需要长时间才能完成的目标信息的处理和传送任务压缩到几分钟甚至几秒钟，还可以通过大规模节点部署来有效避免盲区，故为防汛、消防、预警和应急联动提供了精确的实时目标定位信息。同时，其感知能力也不会因某一节点的损坏而导致整个监测系统的崩溃。
1 智能视频分析网格节点
本项目利用智能相机来作为信息分析系统的接入终端。每一个智能相机就是一个网格的节点。智能视频分析网格节点如图1所示，在图1中，前端视频采集主要使用面阵可见光CCD或者红外图像传感器来完成视频信号的采集，然后输出数字信号到视频编码板。视频编码板使用TI公司的DSP进行实时高效的H.264压缩编码并作为原始图像记录，视频分析板则把输入的视频流通过后续的TI公司的DSP进行相应的视频处理分析。
智能视频分析网格节点框图由于高清智能相机的强大分析能力和物联网结构相对复杂和信息量大等特点，一个系统很可能同时需要视频的多种处理方式，例如智能交通中的偷、盗、抢和套牌车辆的识别和跟踪，可能需要分析和识别很多同时在高清晰图像中出现的其他车辆。因此，需要设计出可以同时级联多达八块DSP视频分析板的设计方案。各个DSP之间既可以级联工作，也可以同时并行工作。
每一块视频分析板的底层硬件系统设计都是一致的，只需给不同板子加载不同的处理算法，便可实现不同的处理功能，例如，第一块加载夜间低照度图像增强算法、图像去雾算法，第二块可以加载在完成去雾处理后实现目标的准确跟踪和定位算法，第三块加载红外目标检测和跟踪算法，完成夜视目标识别功能等。每一个智能相机均配备有无线、有线和3G网络接口。
2 基于网格的分布式物联网技术框架
传统物联网\[2\]的“技术体系”框架如图2所示，它包括感知层技术、网络层技术、应用层技术和公共技术。但是，笔者在研究与交流中发现\[13\]，许多工程人员在理解“物联网的构架”时，常常与图2所示的“技术框架”混淆在一起。
物联网技术框架物联网的构架应当是以“服务”为最终目标的、具有网络特征的硬件和软件系统。针对不同行业而言，其硬件特征和网络结构也千差万别，但其共同的“技术框架”均可以描述成图2所示的各类“基本元素”。
因此，与传统物联网\[3\]不同的是，基于智能视频的网格物联网\[6\]在具体的应用中具有下面几个优点：
第一是感知可视化，即通过数个智能相机可以生成实时全景图，以实时观察监控现场的实际情况，系统通过对各个接入节点信息的分析，自动制定出合理的处置方案。
第二是设备人工智能化。全自主式具有人工智能分析决策的智能相机具有数据采集、分析和处理的能力。基于智能视频的网格物联网\[4\]能将包括人在内的场景可视信息相互连接，并允许他们相互通信。新一代网络协议、嵌入式智能芯片技术和计算机视觉技术均可以让目标物体用自己的“大脑”来运算和分析。
第三是应急救援物资、生产后勤保障准确化。基于智能视频的物联网\[5\]可以有效避免后勤工作的盲目性。伴随着射频识别技术、二维条码技术和智能传感技术的突破，物联网无疑能够为自动获取“在储、在运、在用”物资信息方面提供灵活的可视性解决方案。在安全生产、应急救援等各种活动的全过程中，实现在准确的地点、准确的时间向准确的对象提供数量适当的保障，从而避免造成不必要的混乱和浪费。
3 基于智能相机的智能交通环境监视和去雾研究
在构建基于网格的嵌入式智能相机的信息处理系统的基础上，可以对每一个终端动态配置其功能，使每一个终端既能独立完成自己的任务，又可以协调工作。这样在实际工作中，就可以为不同的智能摄像机分别配置不同的图像增强算法来完成大范围内的环境监视和目标识别任务。在本项目首先针对某些地区的多雾情况开展研究。
众所周知，在恶劣天气条件下(如雾，雨等)，大气能见度下降，致使光学器材获取的图像对比度下降，从而影响图像中的信息提取\[7\]，雾这种常见的天气现象会对景物产生白化作用\[712\]，故会使图像退化，以至模糊，而这将给军事侦察、自动导航、目标跟踪等带来很大的困难。因此对这种自然现象引起的图像质量下降开展图像信号处理的研究具有普遍的实际意义。
图像去雾就是采用一定的方法和策略对采集到的含有雾的图像进行处理，从中恢复出比较清晰的图像。去雾算法的研究，对于部署基于智能相机的网格监控系统具有比较重要的应用价值，同时，对沿海和相关地域的应用也具有较高的指导意义。
3.1 基于暗通道先验规律的去雾算法
在有雾天气下，监控系统捕获场景图像的颜色和对比度都会发生严重的降质。这种现象主要是由大气粒子的散射作用引起的。大气散射的物理本质是高度复杂的，在不考虑大气扰动等现象发生时，可以假设此时的天气条件(包括大气粒子的类型、密度等情况)是空间不变的，这样，到达感光器的光强就可以简单的等效成大气衰减后的场景辐射和因大气悬浮粒子的散射作用而进入传感器的环境光强两部分的线性组合。
雾图形成模型在计算机视觉和计算机图形中被广泛应用。雾越浓，介质的透过率越小，到达传感器的光强中实际的场景辐射衰减的就越严重。利用这个模型可通过求得全局大气光和介质的透射率来从一幅含雾图像中恢复出原始的清晰图片，即场景辐射。
3.2 局部暗通道先验规律
局部暗通道先验规律是有关文献提出的一个统计规律，该规律假定在不包含天空区域的户外无雾图像情况下，对于任何一个像素点，在它周围的范围内，至少有一个颜色通道具有很低的亮度值，而对每一个像素点，都以这样一个最小值来取代其本身的亮度，于是便可以得到暗通道图。大量统计数据表明，除了天空方位，户外无雾图像的各个像素点的强度总是很低，并且趋近于0，这就是暗通道先验规律\[11\]。
3.3 估计全局大气光
考虑到原始输入图像，在这N个位置所对应的像素点中分别求得红色，绿色，蓝色分量的最大值。它们就组成了全局大气光(Ar，Ag，Ab )。在这个方法\[10\]中，A的三个颜色通道的亮度值并不单一的来自原始输入图像中的某一个像素点，而更多时候，它们分别来自三个不同的像素点，于是能在一定程度上避免将原始输入图像中的白色物体误选为全局大气光。
3.4 实验结果分析
采用文献\[11\]的方法可以指导我们进行去雾算法的研究，并将实验成功的算法移植到智能相机上。其实验结果如图3所示，图3(a)是去雾前的城市的照片，图3(b)是去雾后的照片。图3(c)是去雾前海面的照片，图3(d)是去雾后的海面照片。从实验结果看，去雾算法的效果非常明显。
去雾效果比较设计的最终目标是将各类图像处理算法移植到智能相机里，这样一来，各个相机作为终端节点就可以更有效的接入到整个系统中。图4所示为本文研制的智能相机的部分硬件系统实物图，其中图4(a)是200百万像素CCD成像板背面，图4(b)是200百万像素CCD成像板正面，图4(c)~(d)是图像处理板的背面和正面实物图。
笔者目前已经成功地研制了高清晰智能相机的系列产品，并具有全部知识产权。图5(a)所示是一款样机。图5(b)是其内部结构。图5(c)是利用智能相机上的Web服务器通过网络浏览器看到的实验室外面建筑物的外墙的高清晰图像。在长距离成像的条件下(200 m)，可以清晰地看到外墙上的斑点和窗户护栏的锈迹。
高清晰智能相机样机图6所示是针对智能相机开发的智能交通车牌识别算法和实际应用。
中给出了利用DSP算法实现的智能交通中的车牌监测的试验结果。实际的算法已经在智能相机中实现并应用到具体的工程中。针对200百万像素的图像，该系统可以检测出多达数十个位于多车道中的车牌信息。图6中的图像拍摄于西安电子科技大学北校门外的二环路上，拍摄时间是2009年5月8日，笔者将多个车牌粘贴在图像上进行智能相机的性能测试，多个车牌的亮度、对比度、色度等参数都根据不同的天气情况进行了调整。从图中可以明显地看出位于树木、车体等复杂背景下的车牌均可被准确的定位出来。在图6中，只有一个最黑的车牌没有被定位出来。
4 结 论
基于嵌入式智能相机的物联网研究在国内外尚不多见。对嵌入式智能相机的研究，不仅可为传统的物联网接入提供一个新的数据接入形式，而且可以使接入终端具有动态可重构的新功能。以智能相机为接入终端来研究物联网构建过程中的新型网格结构和安全策略，可以为研究物联网的数据安全引入一个新的思路。
在积极推进智能相机的产业化工作的同时，应当积极推进基于智能相机作为接入终端的物联网的行业应用，并应在风力发电、新能源、低碳经济模式等领域积极开展多方合作。
本文所讨论的研究成果对相关领域的研究和应用都具有比较重要的价值。
参考文献
［1］ 任志宇,任沛然.物联网与EPC/RFID技术\[J\].森林工程,2006,22(1):67-69.
［2］ 梁浩.基于物联网的EPC接口技术研究\[D\].武汉:武汉理工大学,2006.
［3］ 肖慧彬.物联网中企业信息交互中间件技术开发研究\[D\].北京:北方工业大学,2009.
［4］ 单承赣,焦宗东.EPC物联网中的信使ONS\[C\].中国国际(第二届北京)RFID技术高峰论坛会论文集,2007,53-55.
［5］ 胡向东.物联网研究与发展综述\[J\].数字通信,2010(4):19-21.
［6］ 王光辉.物联网战略的国际观察与思考\[J\].科技创新与生产力,2010(4):7-9.
［7］ 芮义斌,,孙锦涛.一种图像去薄雾方法\[J\].计算机应用,2006,26(1):152-156.
［8］ STARCH JI, MURTAGH F, CADAS E J, Gray and color image contrast enhancement by the curvelet transform\[J\]. IEEE Trans. on Image Processing, 2003, 12(6): 707-717.
［9］ CHANG D C, WU W R. Image contrast enhancement based on a histogram transformation of local standard deviation \[J\]. IEEE Trans. on Medical Imaging, 1998, 17(4): 518-531.
［10］ OAKLEY J P. SATHERLEY B L. Improving image quality in poor visibility condition using a physical model for degradation \[J\]. IEEE Trans. on Image Processing, 1998, 7(2): 167-179.
［11］ HE Kaiming, SUN Jian, TANG Xiaoou. Single image haze removal using dark channel prior \[J\]. IEEE Journal, 2009: 1956-1963.
［12］ LEVIN A, LISCHINSKI D, WEISS Y. A closed form solution to natural image matting\[J\]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2006(1): 61-68.
［13］ 杨刚,沈沛意,郑春红.物联网理论与技术\[M\].北京:科学出版社,2010.
［14］ 李玮,赵书俊,张伟征,张大伟.单片机P87LPC767在智能化相机探测器系统中的应用\[J\].现代电子技术,2005,28(22):80-81.
作者简介： 沈沛意 男，1969年出生，浙江绍兴人，博士，教授。双博士学位(英国巴斯大学，中国西安电子科技大学)，和双博士后经历(英国巴斯大学，新加坡国立大学)。在SCIENCE IN CHINA, IEEE PAMI 和 IEEE TVCG 等杂志和会议30余篇。作为主要完成人顺利完成国家863项目，自然科学基金项目，中法合作项目等多项相关课题。曾任安捷伦科技(原惠普)(Agilent Technologies)高级工程师(美国，英国，新加坡和马来西亚)、英国撒里大学(Univ. of Surrey)信号处理研究中心(CVSSP)研究员(RESEARCH FELLOW)和IEEE 会员(MEMBER)，现为西安电子科技大学教授。主持国家自然科学基金、陕西省自然科学基金课题、陕西省13115重大科技课题、国家重点实验室开放课题、国家重大科技项目子课题等，主要研究方向：嵌入式系统、网络与通信技术软件、计算机视觉和图形图像处理、物联网信息安全技术等。
陕西省物联网实验研究中心
陕西省物联网实验研究中心是由陕西省工信厅2010年8月批准，以西安电子科技大学为挂靠主体，按照政、产、学、研、用五位一体的组织模式组建的陕西省物联网技术研究培训和物联网应用推广创新部门。
中心坚持大联合、大协作、搭建平台的工作思路，向国内外各科研院所和企业积极寻求合作，共同打造政府、科研院所和企业共建共享的物联网技术与应用公共平台。中心网站wlw.xidian.省略开辟有政策导读、新闻快递、前沿技术、解决方案和成果展示等栏目，是全省范围内物联网信息交流与公共平台。
中心的工作方向如下：
(1) 围绕陕西省物联网发展中的全局性、综合性、战略性问题开展跟踪研究和超前研究，为陕西省物联网发展提供政策建议和咨询意见。
(2) 开展物联网相关技术研究和应用创新，促进陕西省物联网产业链加快完善，推动重点领域物联网应用深入开展。
(3) 承担陕西省物联网应用的宣传推广和培养物联网技术高级人才。
(4) 承办省工信厅交办的其他事项。
中心的宗旨是致力于促进陕西省物联网产业的发展，充分发挥其技术平台作用，发掘市场应用需求，促进技术转化应用，开拓技术应用领域，创建超前应用场景，研发创新技术，引领本省物联网的技术创新与应用推广。
电话与传真 ：02988203592
邮箱：wlw@xidian.省略
网址：wlw.xidian.省略