首页 > 文章中心 > 基于神经网络的手势识别

基于神经网络的手势识别

开篇:润墨网以专业的文秘视角,为您筛选了八篇基于神经网络的手势识别范文,如需获取更多写作素材,在线客服老师一对一协助。欢迎您的阅读与分享!

基于神经网络的手势识别范文第1篇

关键词:手势建模 手势特征 模板匹配

中图分类号:TP39 文献标识码:A 文章编号:1672-3791(2013)03(b)-0018-01

1 总体设计

本项目分为PC机端的手势识别部分和遥控小车部分,系统功能是PC机安装摄像头,实时采集手势图像,根据手势识别结果通过无线模块对小车发送控制命令,使小车完成不同的动作。本系统的总体结构图(如图1)。

本系统手势识别部分设计的结构框图(如图2)。

2 手势识别技术

手势识别的技术方案如以下几点。

2.1 手势建模

在手势识别框架中,手势模型是一个最基本的部分。手势建模主要分为基于表现的手势模型与基于3 d的手势模型。基于表观的手势建模是一种二维建模,从二维平面观察得到的平面图像信息描述于的特征。基于表观的手势模型主要包括基于颜色的模型与基于轮廓的模型两种。基于颜色的手势模型是把手势图像看作像素颜色的集合,通过提取手部的颜色的特征来描述手势。对于一幅彩色图像而言,颜色更利于将手势识别出来。因此本文使用的是基于表现的手势模型,主要是基于肤色的手势识别。

(1)肤色分割,基于肤色彩色信息的检测,主要是根据肤色在空间分布的特点,快速地找到手可能的候选区域,缩小后续细检测的范围,其检测过程为。

彩色空间的转换在计算机视觉中,彩色空间主要有RGB,HSV,HSI,YIQ,YUV等。由于RGB是最为常见的彩色空间,所以可以通过RGB不同的参数值将肤色从图像中检测出来。通过对图像的RGB参数值进行结果分析,R>30,G>15,B>2时手势可以被模糊的识别出来,但是达不到预期效果,所以本文采用了聚类的方法来较为精准的确定人手的候选区域,方法如下:需要从手势取出50~80个能代表肤色的像素,统计手势与该像素颜色相近的像素的数目。同时,改变符合条件的像素的颜色,以确认这些像素是否位于手势上。得到手势候选区域后进行边缘识别,除去自然界中存在着类似肤色的信息。本文采用拉普拉斯算子实现边缘跟踪(如图3)。

(2)手势分析,手势不变矩的定义:对于手势图像函数f(x,y),如果它分段连续且只在XOY平面上的有限个点不为0,则可以证明它的各阶矩存在。手势图像的矩是用所有属于手势区域内的点计算出来的,因而不太受噪声的影响。所以可以用不变距的特性区分手势[5]。

手势有七个不变矩参数,计算手势轮廓的不变矩作为手势的特征,首先根据八邻域法所得到的轮廓矩,来确定手势的轮廓函数f(x,y),f(x,y)中x和y分别为矩阵的标号,而函数值就是轮廓距中相应标号存储的数值[4]。在确定手势的轮廓函数f(x,y)之后,可计算两个不变矩作为手势的特征[1]。这个两个不变矩特征都是具有旋转平移和尺度不变性,同时具有很好的区分性能。

2.2 手势识别

手势识别有3种方法:模板匹配法、神经网络法、HMM。模板匹配方法是一种最简单的识别技术,具有计算简单、速度快的特点。其核心的思想就是将输入的原始数据与预先存储的模板进行匹配,通过测量两个模板之间的相似度来完成识别任务。所以本文采用模板匹配方法进行手势识别

3 结语

目前,基于计算机视觉的静态手势识别技术研究很多,有基于几何特征的手势识别、基于人工神经网络的手势识别等技术,但仍然存在手势目标检测困难、手势目标识别困难等技术难点,所以,如何准确、迅速地对实时手势图像进行识别具有重要的研究意义。本文对手势识别技术进行研究,根据手势识别结果对遥控车进行控制,其研究成果为手势识别的发展提供理论依据和实践基础,为基于手势识别技术的人机交互开辟更广泛的应用领域。

参考文献

[1]任海兵,祝远新,徐光祐,等.复杂背景下的手势分割与识别[J].自动化学报,2002,28(2):256-261.

[2]Stokoe W C.Sign Language Structure:An Outline of the Visual Communication System of the American Deaf, 1960,Buffalo,NY:Linstok.

[3] 朱继玉,王西颖,王威信,等.基于结构分析的手势识别[J].计算机学报,2006,29(12):2130-2137.

基于神经网络的手势识别范文第2篇

关键词:手势识别;计算机视觉;数字信号处理器;嵌入式系统;定点运算

中图分类号: TP391.413

文献标志码:A

Abstract:

The existing gesture recognition algorithms perform inefficiently on the embedded devices for their high complexity. A shape featurebased algorithm with major fixedpoint arithmetic was proposed, which used the most significant internal circle algorithm and the circle cutting algorithm to obtain the features. This method could extract the center of a palm by finding the largest circle inside the palm, and could extract the finger tips by drawing circles at the edge of the hand. Finally gestures could be classified and recognized according to the feature information of the number of fingers, orientation and the position of the palm. This algorithm had been transplanted to Digital Signal Processor (DSP) by improving it. The experimental results show that the proposed method can adapt to different hands of different people and it is ideal for DSP. Compared with other shapebased algorithms, the average recognition rate has increased from 1.6%~8.6%, and the speed of the computer processing has increased by 2% by using this algorithm. Therefore, the proposed method facilitates the implementation of embedded gesture recognition systems and lays the foundation for the embedded gesture recognition system.

Key words: gesture recognition; computer vision; Digital Signal Processor (DSP); embedded system; fixedpoint arithmetic

0引言

随着计算机技术的发展,人机交互技术越来越成熟,人们希望能够以更自然的方式和计算机交流,其中肢体形态语言如手势、体势和表情等是人们常用的交流方式,而手势在人机交互中具有生动、形象和直观特点[1],因此基于机器视觉的手势识别技术应运而生。

目前基于机器视觉的静态手势识别算法大致可以分为基于数学特征和基于形状特征两类。基于数学特征的手势识别主要通过数学抽象的方式获取特征值,如:文献[2]提出基于改进神经网络的手势识别方法、文献[3]提出的基于平均邻域最大化的手势识别方法、文献[4]提出的基于Hu矩的手势识别方法等,这类方法是将手部的图像数据通过一系列数学方法映射到特征空间,与手势形状所包含的信息相比,这些方法可能得到更加丰富或者更加隐蔽的特征信息,其缺点是不直观,并且计算量一般都很大。而基于形状特征的手势识别方法比较直观,计算量也相对较小,这类方法在考察不同手势的形状特点之后,采用适当的数学处理提取其特征信息,而这些手势的形状特征又集中地表现在指尖上,如文献[5]和文献[6]提出的基于曲率的指尖检测,以及文献[7]提出的基于凸包指尖检测方法等。

由于基于数学特征的手势识别方法计算量太大,需要在PC(Personal Computer)上运行以保证其实时性,基于形状特征的方法虽然计算量相对较小,但是仍然包含大量浮点运算,如文献[5]和文献[6]的方法中采用的向量运算,以及文献[7]中的凸包和凸缺陷的计算,这些不适合以定点运算为主的嵌入式设备上运行。

本文针对以上问题,提出一种手势识别算法,以定点计算为主,使其能够在定点数字信号处理器(Digital Signal Processor, DSP)上获得较好的识别效果和实时性。

1基于形状特征的手势识别算法

本文的算法的主要思想也是以手掌的形状特征为基础,算法整体流程分为图像采集、手势分割、掌心提取、指尖提取、错误点消除和手势识别几个部分。

采集图像由摄像头完成,DSP从摄像头读取一帧图像之后放入同步动态随机存储器(Synchronous Dynamic Random Access Memory, SDRAM)缓存,便于后续处理。整个算法的目标是提取掌心坐标、手掌半径、手指数和手掌方向几个特征信息,这些信息有利于后续动态手势识别的实现。

1.1手势分割

手势分割的目的是将图像中的手势部位和背景分离开,在彩色摄像头的应用领域,一般采用肤色分割方式,在光照变化比较明显的情况下,YCbCr颜色空间RGB颜色空间的分割效果好[8],而且从电荷耦合元件(ChargeCoupled Device, CCD)摄像头能够直接获取YCbCr颜色数据,因此本文选择在YCbCr颜色空间中进行肤色分割,为简化运算,采用阈值分割方式。

经过肤色分割后,原始图像被转换成二值图像,用0表示背景区域,1表示肤色区域,如图1(a);一般来说背景产生的噪声在二值图像中多是面积较小的孤立的斑点,因此求取连通域,将连在一起的像素点标记在一起,如图1(b);挑选出其中面积最大的若干连通域(本文选取了4个)作为“目标”,并用矩形框对其“框选”,即计算这些目标的坐标范围,如图1(c)所示。

1.5手势识别

对所有PM向量的角度求平均值即得到手势的方向。本文将手势的方向在360°范围内进行16等分并编号。

手势的特征向量被定义为G(F,X,Y,R,A),其中:G表示手势特征向量;F∈[1,5]表示手指的数目;X,Y分别表示手掌中心在整个图像中的位置坐标;R表示手掌半径;A∈[0,15]表示经编号的手势的方向。通过对G进行分类就可以表示不同的静态手势,若研究G的动态规律即可进行动态手势的识别,本文仅对静态手势进行识别。

2DSP手势识别系统的搭建

DSP是一种专门为数字信号处理而设计的嵌入式处理器,具有特殊的硬件结构和指令系统以满足高速实时的信号处理。和ARM相比,DSP更适合专门用来处理图像。由于DSP属于嵌入式处理器,在主频上一般比同时期PC的中央处理器(CPU)要低,Nikhil等[10]利用DSP实现了对几个简单的静态手势的识别。为了提高DSP的处理速度,Fei等[12]采用多片DSP协作,实现了DSP在动态手势识别上的实时处理,不过同时也提高了开发成本。通过前面介绍的算法,希望能够在DSP上实现实时的静态手势的识别,为后期动态手势识别打下基础。

本文设计的DSP手势识别系统如图5所示。

表2可以看出:本文算法的平均识别率高于基于曲率[5]和凸包算法[7]的识别率,所得到的特征信息也足够多,这将带来更加丰富的人机交互体验;处理速度略高于基于凸包算法[7],但是DSP的最大特点就是可以通过优化代码使程序效率大幅提高,因此理论上本文算法在DSP上还能得到更高的处理速度。

4结语

本文的方法所提取的特征向量有利于在动态手势识别中实现手掌的旋转和平移动作,同时能够在DSP上运行,有利于整个系统的模块化。目前本设计还存在一些不足:现阶段的实时性还不能够满足动态手势识别;其次是图像分割效果不理想,在复杂背景下容易受到干扰。对于实时性,可以通过优化代码得到提高,这是DSP最重要的特性之一,图像分割则可以通过增加贝叶斯分类器等方法来解决,这也是下一步的工作目标。

参考文献:

[1]FENG Z, JIANG Y. A survey of hand gesture recognition [J]. Journal of University of Jinan: Natural Science, 2013, 27(4): 336-341.(冯志全,蒋彦.手势识别研究综述[J].济南大学学报:自然科学版,2013,27(4):336-341.)

[2]TAN C, XIAO N. Static hand gesture recognition based on improved RCE neural network and RBF neural network [J]. Computer Engineering and Applications, 2011, 47(7): 172-176.(谭昶,肖南峰.基于改进RCE和RBF神经网络的静态手势识别[J].计算机工程与应用,2011,47(7):172-176.)

[3]QIAN Z, LIU Z. Realising static gesture recognition with alternative covering algorithm [J]. Computer Applications and Software, 2013, 30(8): 127-165.(钱泽强,刘政怡.应用交叉覆盖算法实现静态手势识别[J].计算机应用与软件,2013,30(8):127-165.)

[4]LUO Y, XIE Y, ZHANG Y. Design and implementation of a gesturedriven system for intelligent wheelchairs based on the Kinect sensor [J]. Robot, 2012, 30(1): 110-119.(罗元,谢,张毅.基于Kinect传感器的智能轮椅手势控制系统的设计与实现[J].机器人,2012,30(1):110-119.)

[5]YUAN W, DONG Q. Hand shape verification method based on hand geometry feature [J]. Acta Optica Sinica, 2010, 30(10): 2994-2999.(苑玮琦,董茜.基于手部尺寸特征的手形认证方法[J].光学学报,2010,30(10):2994-2999.)

[6]LI B, LIN F. Fingertip detection method based on curvature [J]. Journal of Nanjing University of Aeronautics & Astronautics, 2012, 44(4): 587-591.(李博男,林凡.基于曲率的指尖检测方法[J].南京航空航天大学学报,2012,44(4):587-591.)

[7]WENG H, ZHAN Y. Visionbased hand gesture recognition with multiple cues [J]. Computer Engineering and Science, 2012, 34(2): 123-127.(翁汉良,战荫伟.基于视觉的多特征手势识别[J].计算机工程与科学,2012,34(2):123-127.)

[8]GUAN R, XU X, LUO Y, et al. A computer visionbased gesture detection and recognition technique [J]. Computer Applications and Software, 2013, 30(1): 155-164.(关然,徐向民,罗雅愉,等.基于计算机视觉的手势检测识别技术[J].计算机应用与软件,2013,30(1):155-164.)

[9]LEE L K, AN S Y, OH S Y. Robust fingertip extraction with improved skin color segmentation for finger gesture recognition in humanrobot interaction [C]// Proceedings of the 2012 IEEE Congress on Evolutionary Computation. Piscataway, NJ: IEEE Press, 2012: 1-7.

[10]NIKHIL S, SAIMA M, RAMYA B, et al. Design and development of a DSP processor based reconfigurable hand gesture recognition system for real time applications [C]// Proceedings of the 2010 International Conference on Signal and Image Processing. Piscataway, NJ: IEEE Press, 2010: 39-44.

基于神经网络的手势识别范文第3篇

关键词:Kinect;深度;骨骼系统;不变矩

中图分类号:TP391.41

一直以来,手势作为通用的肢体语言,在信息交流中扮演着重要的角色。人机交流中使用手势,可以使交互直观化、自然化。在手势识别的早期阶段,人们常利用光电传感器等设备采集手部数据来进行手势提取,成本高,约束条件多,不便利。随着计算机技术和数字图像处理技术的发展,基于计算机视觉的捕捉技术逐步变成手势识别的主流[1]。在基于计算机视觉的手势识别系统中,通过摄像机组件对采集人的手部动作,与传统技术相比,更加便宜、便利。但是传统的手势识别算法通常使用肤色模型来实现手势识别,易受照度变化、复杂背景、硬件特性的影响,识别准确性不高[2],针对这种情况,本文以Kinect摄像头获取的深度图像数据为基础,提出基于腕部坐标的手势识别算法,按照Hu矩匹配原则可对4种手势进行有效识别,在不同光照条件和复杂背景下均可达到较高的识别准确率,算法鲁棒性强,可使基于机器视觉的人机交互的更加可靠和流畅。

Kinect是一款性价比较高的图像采集装置,其由红外发射器、红外CMOS和彩色CMOS以及其他部件构成,使用结构光技术主动获取深度信息,可以集80x60、320x240、640x480像素三种分辨率、16位的深度帧数据[3],其帧速最高可达30帧/秒,深度值的精度约为3-30毫米。内嵌图像处理器芯片PS1080 Soc,不需要花费大量的硬件资源进行运算,可以以较低的配置达到实时性的手势数据采集要求。

Kinect设备的配置和访问是通过Kinect SDK实现的。Kinect SDK由Kinect驱动、摄像头栈、USBAudio栈和NUI API四个部分组成。NUI API是其重要核心组件,它提供了本文所使用的深度帧数据流信息和骨骼关节点信息的访问接口。

1 手势识别软件结构

基于Kinect的骨骼系统来进行手势识别的软件结构如图1所示。首先利用Kinect摄像头记录人体手势,经Kinect内部处理获得目标场景的深度帧数据,将其转换为灰度图像,然后提取人体轮廓,通过骨骼系统采集的腕部数据辅助阈值分割获得手势图像,再进行图像平滑等处理,最后进行特征提取达到手势识别的最终目的,实现了非接触式的手势识别[4]。

图1 基于Kinect的手势识别系统结构

2 深度值的空间变换

Kinect的红外摄像头在获取目标图像,对采集的图像进行一系列内部处理后,产生16位的深度帧数据供开发者使用。在供用户使用的16位深度帧数据中,系统使用了其中的高13位数据来表示像素点的深度值,最低3位为用户索引占用,因此使用Kinect SDK提供给用户的深度帧数据时须先对其进行移位处理(原始的深度帧数据右移3位),以获得深度空间各点的深度值,将其映射到灰度空间后可显示深度图像。

假设gmax和dm分别表示灰度空间和深度空间的最大值,di表示深度空间第i点的深度值,g(i)表示该点的相应灰度值,由于当物体离深度摄像头太近时摄像头会对距离误判造成digmax,本文提出用gk进行修正,得到如下深度空间到灰度空间的转换公式:

g(i)=f(di)=gmax-gmax×di/dm+gk (1)

图2 RGB图像与深度图像

图2中,左图为现实场景的RGB图像,右图为场景相应的深度图像。对比两图可知:深度图像中像素点灰度值不是表示物体相应颜色而是代表目标物与Kinect摄像头的距离,且数值大小可以反映目标物距离摄像头的远近程度,目标距摄像头越近,颜色值愈趋于白色。

3 人体轮廓提取

由式(1)可知,不同物体深度值相等时会有相同灰度值,这会对手形提取造成干扰。本文利用Kinect提供的用户索引实现人体轮廓与周围物体分离,以消除大多数物体对手势区域提取的影响。

Kinect对人体轮廓识别,是先在传感器的附近区域扫描,根据人体的结构特征获得疑似人体区域[5],接着使用边缘检测、阀值处理、目标特征点分类等方法,将人体从拍摄图像中剥离出来,最后加上用户索引,组成深度帧数据供开发者使用。已知深度帧数据后3位是用户索引,取值范围为0到6。数值为0时表示此像素点不属于人体,在此用PlayerIndexBitmask变量获得用户索引数据,将人体轮廓从场景中分离出来。

设由深度帧数据获得灰度图像尺寸为w×h,设灰度图像第i点的坐标为(xi,yi)则i=w×yi+xi,由公式(2)可获得人体轮廓,如图3所示。

(2)

g(i)和dp(i)分别为该点的灰度值和深度帧数据值。

图3 人体轮廓图

4 基于骨骼系统的手势识别

4.1 根据骨骼系统获取腕部坐标

由于手腕点与深度摄像头的距离并不固定,仅根据深度图像难以对其精确的定位,在此使用骨骼追踪系统对它进行捕捉。

Kinect骨骼追踪系统对景深图像进行技术处理,使用矩阵变换,机器学习等方式来确定骨骼点的坐标[6]。SDK提供的骨骼跟踪引擎可以给每位用户提供全身共20个关节点在骨骼空间坐标系的位置信息,可追踪的关节点图4所示:

图4 骨骼关节点示意图

在通常情况下,骨骼系统可以对视野内的6个人体进行捕捉,但只会选择其中两个用户进行全身骨骼数据追踪,并且选择过程有着很大的随机性。本文通过SDK提供SkeletonPoint类型的Position对象获取人体骨骼中间点坐标(xM,yM,zM),在比较多个人体zM的值后,选取zM值最小的(即离摄像头最近的)人体作为用户,再利用Joint对象对其左腕和右腕的空间位置进行捕捉。

由于Kinect捕获到的左腕坐标(xL,yL,zL)和右腕坐标(xR,yR,zR)是骨骼空间数据,只有转换到深度空间里,才能真正确定手腕在深度图像中的位置。针对这种情况,微软的SDK提供了Map Skeleton Point To Depth方法来辅助开发者对骨骼关节点数据进行两个空间之间的转换,转换后的腕部坐标位置分别为(xiL,yiL)和(xiR,yiR)。

4.2 手势区域分割

本文使用图像处理中的阈值法[7]进行手势区域分割。根据骨骼系统获取的左右手腕点在深度图像中的坐标位置(xiL,yiL)和(xiR,yiR)可以得到相应的深度值dL和dR,通过公式(1)求出手腕点的灰度值GL和GR,得出如下手势轮廓提取公式:

(3)

式中g(i)为图像第i点的灰度值,G为左手腕灰度值GL或右手腕灰度值GR,d1、d2为裕量值,根据实验结果分别取3和5,gmin和gmax为整幅图像灰度最小值和最大值,一般分别取0和255。

使用公式(3)对深度图像所有像素点进行处理后得到手势图像如图5a所示。

a 图像分割后的手势图像

b 图像去除非手势目标前后的手势图像

c 边界平滑与边缘提取后的手势轮廓

图5 手势图像

4.3 基于腕部坐标最邻近法则的手势轮廓提取

实验中发现,直接按公式(3)进行图像分割时,当手腕关节点和身体某部位深度值相等时,手势图像中易出现其他轮廓,如图5b左图所示,这会对后期的特征提取造成干扰。在此提出使用基于腕部坐标的最邻近法则,对程序进行优化,以提高识别的准确度。即把腕部点正下方8cm处作为长方形下底边的中点,在深度图像中做长为W,高为H的长方形,计算出长方形区域在深度图像中的范围,并将此范围内的所有的像素点按公式(3)提取出来作为手势区域,而把正方形范围外的灰度值置gmin,以去除非手势目标,在确定长方形的范围时需根据人体腕部坐标将其转换成像素位置,转换方法如下:

假设已标定的kinect深度摄像头相当于理想情况下的针孔模型,则深度图像坐标系上像素位置为(xi,yi)点与其在以深度摄像头光心为原点建立的摄像头坐标系下的对应点(x,y,z)之间关系为:

(4)

(4)中d为(xi,yi)点的深度值,K为深度摄像头内部参数,由s,u0,v0,fx,fy决定。其中,s=0为倾斜因子,u0=161和v0=122为图像中心坐标,fx=fy=295为焦距[8]。本文根据GB/T12624-2006对11码掌围和长度的规定,根据实验效果,取长方形长W=25cm,高H=35cm。以右手为例,采用基于腕坐标最邻近法则提取的手势轮廓如图5b的右图所示。

由于阈值处理后获得的二值图像其边缘存在大量毛刺,本文中采用形态学操作的闭运算进行图像平滑。图像处理技术中的闭运算是个先膨胀,再腐蚀的过程。它能在填充物体内细小空洞、连接邻近物体、平滑其边界,同时不会明显改变轮廓面积[9]。试验结果表明,所选取结构元素的膨胀次数和腐蚀次数都为1次时,可以达到良好的去毛刺效果。去毛刺后再使用emgucv进行边缘提取,图5c左图为边界平滑后的手势图像,右图为提取的手势轮廓。

4.4 模板匹配与手势识别

本文设定了4个用于识别的右手手势模板,如图6所示,对于其大小没有严格的量化标准。由于左右手互为镜像,因此可以根据对称性获取相应的左手手势模板。用emgucv对模板进行边缘提取后,提取手势轮廓的Hu矩进行手势识别。

Hu矩指的是利用二阶矩和三阶规范化中心矩非线性组合而成的七个典型的不变矩{hu1,hu2,hu3,hu4,hu5,hu6,hu7},具有旋转,缩放和平移不变性,前三个低阶矩反应了图像边缘的低频信息,后四个高阶矩体现了目标边缘的高频信息[10]。所得Hu矩如表1所示。

手势1 手势2 手势3 手势4

图6 右手手势模板

表1 手势模板的hu矩

手势

不变距 手势1 手势2 手势3 手势4

hu1 9.14E-3 1.33E-2 1.08E-2 5.51E-3

hu2 5.34E-6 8.76E-5 3.90E-5 2.47E-6

hu3 4.93E-8 6.79E-8 5.78E-8 7.13E-11

hu4 6.82E-11 5.86E-10 9.13E-10 1.24E-8

hu5 -1.24E-19 -2.30E-19 -3.68E-18 1.11E-17

hu6 8.19E-15 3.74E-12 -5.50E-12 1.93E-11

hu7 1.58E-20 3.69E-18 5.51E-18 3.42E-18

为了防止7个不变矩变化范围过大,同时考虑到数据出现负值的情况,对数据采用取绝对值再取对数的方法,实际使用的不变矩为[11]:

hui=lghui (5)

(5)中hui表示第i个不变矩,i=1,2,…,7。

相似性有多种度量方式,在本文中,使用距离度量d(α,β)对Hu矩进行匹配,d(α,β)的公式如下[12]:

(6)

式中,huκi表示第i个不变矩,i=1,2,…,7

κ=α,β。

5 实验结果与分析

本文实验数据来自Kinect摄像头采集的320x240像素、30f/s手部深度图像。图像采集过程中让手心正对摄像头、前臂朝上、手掌与摄像头平面平行或倾斜一个很小的角度,在Kinect官方规定的最佳侦测范围采集不同距离、位置以及旋转角度的手部形态图像,如图7所示。

图7 捕捉的手部图像

在光强为17 lux的条件下,每个手势采集150幅图像,手势识别结果如表2所示:

表2 手势识别结果

手势1 手势2 手势3 手势4

总数 150 150 150 150

识别为手势1 149 12 7 10

识别为手势2 1 132 0 0

识别为手势3 0 3 142 9

识别为手势4 0 1 0 128

准确率 99.3% 88% 94.6% 85.3%

漏检数 0 2 1 3

漏检率 0% 1.3% 0.67% 2%

实验结果表明,手势在平移、比例变换和在长方形范围内旋转的条件下,识别率可以达到85%以上。在实验中,手势1取得了较高的识别度,主要是因为该手势的轮廓相对其他几种手势比较简单集中。而手势4由于五指的轮廓较为复杂,增加了手势识别难度,导致了识别率相对降低。从总体上看,静态手势最终识别效果还是让人满意的。

为了验证手势识别方案在不同光照强度下的健壮性,在不同光照强度、相同距离的条件下,每个手势做了100次实验,表3给出了不同照度下各个手势的识别率。

表3 不同光照下识别准确率

光强

手势 105 lux 40 lux 3 lux

手势1准确率 100% 100% 100%

手势2准确率 95% 93% 97%

手势3准确率 91% 96% 97%

手势4准确率 87% 93% 94%

图8是不同复杂场景下手势区域提取的对比。

图8 复杂场景下手势提取效果

由表3可知,4种手势在相同距离,不同光照下识别的准确率达到87%以上,室内的光强弱程度对手势识别的影响并不明显。图8表明在复杂的背景下手势识别系统依旧能准确的对手势区域进行提取。因此,本文所采用的手势识别方案有很强的健壮性。

6 结束语

本文使用Kinect提供的骨骼系统和深度图像进行手势识别,提出根据腕部坐标用最邻近法则提取手势区域,解决了照度变化和复杂背景下手势区域分割的难题,避免了肤色区域重合对手势提取的影响,实验表明对简单手势有着较快、较高的识别率,且有较强的健壮性。但本文采用的模版匹配算法还存在一定的局限性,对复杂手势识别的准确率有待进一步提高,可考虑采用SVM等算法获得更好的复杂手势的识别效果。

参考文献:

[1]曾芬芳,王建华,别小川.基于神经网络的手势识别[J].机器人,1999,1(01):40-4.

[2]关然,徐向民.基于计算机视觉的手势检测识别技术[J].计算机应用与软件,2013(30):155-164.

[3]Jing T,Jin Z.Scanning 3D full human bodies using Kinects[J].Visualization and Computer Graphics,2012,18(04):643-50.

[4]黄季冬.动态手势识别技术研究与实现[D].武汉:华中科技大学,2012.

[5]Shotton,Real-Time J.Human pose recognition in parts from single depth images[C].Colorado Springs:IEEE Computer Society,2011,1298-9.

[6]Jarrett Webb.Beginning Kinect Programming with the Microsoft Kinect SDK[M].Berkeley:Apress,2012.

[7]韩思奇,王蕾.图像分割的阈值法综述[J].系统工程与电子技术,2002,24(06):91-4.

[8]陈晓明.基于Kinect深度信息的实时三维重建和滤波算法研究[D].上海:上海交通大学,2012.

[9]刘军华,雷超阳.基于灰度形态学的车牌定位算法[J].交通科学与工程,2012,28(04):65-71.

[10]卢阿娟,陈普春.基于颜色聚类和Hu不变矩的道路交通标志检测[J].物联网技术,2013(05):43-6.

[11]王华莹.基于机器视觉的车辆检测和车距测量方法研究[D].大连:大连理工大学,2011.

[12]程小鹏.基于特征提取的手势识别技术研究[D].武汉:武汉理工大学,2012.

基于神经网络的手势识别范文第4篇

关键词:畜牧养殖;信息监测;穿戴式技术;智能化

作者:张小栓1,2张梦杰1王磊1罗海玲3李军4

(1.中国农业大学工学院,北京100083;2.中国农业大学食品质量与安全北京实验室,北京100083;3.中国农业大学动物科学技术学院,北京100193;4.中国农业大学经济管理学院,北京100083)

0引言

作为畜牧业大国,我国逐渐由家庭散养向规模养殖模式发展,传统的畜牧业在养殖、运输和销售等环节存在着大量的不足和问题[1-2]。随着信息技术的快速发展,利用现代信息技术解决传统畜牧业的不足和问题,探索畜牧业现代信息化发展方式,激发畜牧业内在增长动力,对推动和实现畜牧业稳定可持续发展具有重要意义。

近年来,穿戴式技术的快速发展受到广泛关注,穿戴式设备被应用在运动追踪、健身、生物医疗等诸多领域。穿戴式信息监测技术融合多媒体、传感器和无线通信等技术于一体,有望成为对动物健康监管最有效和可行的技术[3-4]。本文对穿戴式信息监测技术的相关研究进行系统文献整理和综述,以期为穿戴式信息监测技术在畜牧业领域更加广泛而深入的应用提供理论支持。

1畜牧养殖穿戴式信息监测工作原理

穿戴式畜牧养殖信息监测系统主要由信息采集单元、信息处理单元、无线传输单元和智能终端等组成[5-6],信息采集单元采集养殖环境信息(光照强度、温湿度、气体浓度等)、动物的生理信息(体温、血压、心率、呼吸等)和行为信息(静止、跳跃、跑动、打斗、声音信息等),信息处理单元对信息采集单元采集的各种信息进行降噪滤波等预处理,然后对信息进行分析处理、传输和存储,信息处理单元处理过的信息通过无线传输单元传输到智能终端进行显示和存储,对农场动物的健康状况等信息进行实时动态监测和管理。如图1所示为畜牧养殖穿戴式信息监测工作原理图。

为适应监测对象、穿戴部位和监测参数等要求,穿戴式设备往往被特别定制,其穿戴形式包括束缚式、贴覆式和植入式。考虑到体积、成本和能耗等因素,束缚式穿戴设备常被应用在牛、羊、猪等大中型家畜身上,贴覆式和植入式设备常被应用在鸡、鸭、鹅等小型家禽身上。对于散养或放牧养殖方式,主要实现定位和追踪功能,对于圈养养殖方式,主要监测其生理信息与生活环境信息。

2畜牧养殖穿戴式信息监测技术

2.1信息感知技术

2.1.1穿戴式传感器技术

传感器是实现信息收集、传输、存储等功能的基础元器件,用于畜牧养殖穿戴式传感器主要分为运动传感器、生命体征传感器以及环境传感器等类型,图2所示为畜牧养殖穿戴式信息监测参数示意图。传感器通常用于感知监测对象的信息变化,该技术作为穿戴式信息监测技术的核心技术之一,对穿戴式技术的发展具有十分重要的作用。

运动传感器:运动传感器主要用于监测被测对象的运动状态,可测量与运动相关的位移、速度、加速度等物理量。养殖场内动物的自由活动可能会引起动物个体、动物与动物之间、动物与环境的相互作用,从而对动物造成损伤、应激,甚至影响养殖场经济效益及可持续发展[3-4],因此有必要开发相应设备监测养殖场自由活动的动物。在生物医学领域,MOON等[7]应用一种惯性压电式传感器BioStampRC进行多发性硬化症的步态特征监测,此传感器结构简单灵敏度高,但体积较大不易集成;CHUNG等[8]开发的穿戴式压阻式弯曲运动传感器,体积小、续航能力强,具有同时检测弯曲曲率和速度的功能;DEGRAFF等[9]使用碳纳米管打印出柔性压力传感器,该传感器相比于传统的压力传感器灵敏度提升70%,且具有极高的线性度,可更加精准地对动物行为进行监测。而及时发现动物行为是提高农场动物繁殖能力的重要手段[10];任亮等[11]研究了计步器监测系统与人工监测效率,结果显示计步器监测系统能够得到更准确的检出率;PONS等[12]提出了一种基于深度追踪的动物和身体部位自动检测系统,并对基于监督和监测的几种分类算法的性能进行了详尽的评估。为了评估活羊应激水平,CUI等[13]设计了基于Arduino开源平台的三轴加速度计用于测量和记录活羊运动及其行为状态(图3),研究表明,活羊应激反应与其行为表现具有一定的相关性。在动物计算机交互领域,人们越来越关注自动检测动物的行为和身体姿势,这将给动物福利带来好处,实现远程通信、福利评估、行为模式检测、交互和适应系统等。因此,使用传感器模块或传感器集成平台监测动物生理行为具有十分重要的意义。

生命体征传感器:研究表明,生命体征变化可反映人或动物的病情轻重和危急程度[14-15],即监测人或动物的体温、心率、血压、呼吸、脑电波等生命体征,对保证人或动物健康具有重要意义。用于监测生命体征的传感器的实现方式主要是电极式、放射式和透射式,目前脑电波监测的形式几乎全部为电极式。胡良文等[16]利用4X1DS18B20电极式温度传感器阵列采集温度数据,对比试验验证了该系统连续测量的可靠性,测量精度为0.06℃,虽然测量精度较高,功耗低,但传感器阵列不易集成,体积大、操作繁琐;柏广宇等[17]研制出母猪体温监测节点,选择母猪臀部为最佳测量部位,选用MLX90614型红外温度传感器为温度测量传感器,实现实时远程监测母猪体温,操作方便,系统测量误差为0.21℃,满足养殖行业对猪体温测量误差的要求。此外,基本生命体征指标可以反映和评估活羊应激水平,CUI等[13]设计了基于Arduino开源平台的生命体征监测装置(图3),该装置包括主机端和从机端,主机与从机通过蓝牙模块实现通信,其测量指标包括体表温度、心率等,结果表明,在应激状态下活羊体温和心率指标均处于不适宜状态。

环境传感器:环境传感器能够监测畜牧养殖环境状态的实时变化[18-19],包括温湿度传感器、气体浓度传感器、雨量传感器、光照传感器、风速风向传感器等,不仅能够精确地测量相关环境信息,还可以和上位机实现联网,满足用户对被测物数据的测试、记录和存储。WEEKLY等[20]描述了一种BiB传感器用于收集丰富的建筑物的环境参数(如CO2浓度等);KIM等[21]研制出一种基于3×3矩阵离子通道的柔性温度传感器,并证明它能够在特定区域内对温度进行高度选择性、灵敏和灵活的测量;通过改变采集节点的传感器类型,能够实现对不同场合的监测任务,陈镱等[22]设计了一种新型环境监测系统,基于无线传感器网络对CO2浓度、温湿度等环境参数进行监测。表1所示为穿戴式信息监测传感器性能比较。

2.1.2特征参数识别

畜牧养殖穿戴式信息监测特征参数识别分为生理特征参数识别[30]、行为特征参数识别[31-32]和环境特征参数识别[33-34],其中生理特征参数识别和行为特征参数识别是技术难点,因为监测对象较为活跃,对传感器的稳定性、精度和布置方式等要求较高。表2综合分析了常见的穿戴式信息监测生理参数及传感器类型。

width=733,height=310,dpi=110

生理特征参数识别:生理特征参数直接关联动物的健康水平,应用于生理特征参数识别的传感器主要有电极式、反射式和透射式,并且向多传感集成的方向发展。参数识别方法主要是运用各类监测生理参数的传感器,获取畜牧养殖过程中农场动物的心率、体温、呼吸等参数数据,并运用均值聚类算法、主成分分析法、神经网络算法、遗传算法和特征元素法等方法提取特征参数信息,建立生理特征与机体健康程度之间的关系模型。

行为特征参数识别:本文研究的动物行为特征主要表现在动物咀嚼、俯仰、行走、跳跃、爬跨、咳嗽等方面,运用穿戴式运动传感器可记录农场动物的日常行为特征,便于研究分析农场动物在养殖环节产生的特定规律性变化,为生产者决策管理提供理论依据。动物运动行为的声学分析已被证明能够准确地识别咀嚼和咬伤,根据钳口运动的原理可有效区分动物的咬合和拒绝行为,RUTTER[48]研制一种由鼻带、ART-MSR压力传感器和计算机接口组成的穿戴式行为记录仪;CLAPHAM等[49]提出了一种声学记录和分析系统,利用靠近动物嘴的宽频传声器获取数学信号,用来自动检测、分类和评估放牧肉牛的摄食情况;宣传忠等[50]提出一种改进的MFCC与HMM相互结合的羊咳嗽声识别系统,该系统识别率高,能够达到对羊咳嗽声的识别要求。声音监测在农场动物的监测中具有十分重要的作用,通过这种监测指标能够比较清楚了解动物的生理状态,对控制动物进食量、降低动物疾病传染风险等方面具有一定的贡献。

此外,通过布置传感器网络节点可对动物行为进行较为全面的监测,WATANABE等[51]使用三轴加速度传感器对牛下颚部位运动特征进行监测,分析牛咬断草食、咀嚼草食、休息等行为;NADIMI等[52]提出使用无线传感器网络节点对牛颈部的俯仰角及运动速度进行监测,使用分类树对牛的行为进行分类并预测牛群其他个体的行为;尹令等[53]设计了一种奶牛行为特征监测系统,在奶牛的颈部装配无线传感器节点并使用K-均值聚类算法对参数进行分类识别,可以细致区分奶牛静止、慢走、爬跨等行为。

2.2信号分析与处理

穿戴式信息监测技术能进一步分析挖掘更加有价值的信息,促进畜牧养殖业更好发展。应用于畜牧养殖信息监测的各类传感器采集的信号大部分是微弱信号,信号不仅强度较弱,而且信号噪声高、衰减快,不能获得精准的信号,从而对动物的健康状况水平不能进行精准的判断。如图4与表3所示,信号分析与处理方法主要研究内容有时域分析、频域分析、时频分析以及数字滤波等方法[54-55]。

时域分析法根据时间历程记录信号波形,研究动物生理信号的幅值等参数、信号的稳态和交变分量随时间变化的情况,分析传感器采集的原始波形,保留信号最完整的信息,但生理信号处理的时间范围较小、精密度较低[54]。如CUI等[13]通过研究心脏结构以及心脏跳动规律,并选择5个典型时域参数分析了活羊心率变异性,结果表明,活羊心率变异性时域特征可反映活羊应激水平。

2.2.2频域分析法

在生理信号的提取过程中会混入大量的噪声,在对信号进行频域处理之前要对信号进行滤波处理,提高信噪比,其理论基础是傅里叶变换[54]。相较于时域分析法,频域分析法的精密度较高一些,沈劲鹏等[56]首先对原始信号进行FFT分析,以确定呼吸信号和心跳信号的频带范围,然后将原始信号分解为若干IMF分量,重构呼吸信号和心跳信号。该方法得到的呼吸率和心率的准确性都超过90%,可以很好地提取呼吸和心跳信号;SHARMA等[57]提出了一种基于广态滤波的方法对呼吸信号进行处理,实验表明基于广义同态滤波的离散傅立叶变换EDR技术优于基于离散傅立叶变换的同态滤波。

2.2.3时频分析法

生理信号的时域分析和频率分析都是从整体上对动物生理信号进行处理,无法反映信号的局部特征且只能处理平稳的、线性的生理信号,时频分析法可以反映信号时间和频域之间的关系[58]。HASSANPOUR[59]提出了一种利用时频分布降低信号时间序列噪声的方法,信号的时频首先被划分为信号子空间和噪声子空间,使用时频矩阵的奇异值作为空间划分的标准,增强了信号时频表示嵌入的信息。

2.2.3.1小波变换

小波变换(Wavelettransform,WT)继承和发展了短时傅立叶变换局部化的思想,同时克服了窗口大小不随频率变化等缺点,能够提供一个随频率改变的“时间-频率”窗口,是进行信号时频分析和处理的理想工具。刘思佳等[60]基于小波分解与去噪原理,通过串联多次小波变换实现对睡眠时呼吸信号的去噪与提取;王芳等[61]在心电信号处理过程中,为了避免产生Gibbs振荡现象和严重的频率混叠现象,提出基于双树复小波变换,并结合最大后验估计确定阈值的心电信号去噪方法,与传统离散小波变换相比,双树复小波变换去噪更彻底,边界、纹理等特征能较好地保留,可以作为一种生物医学信号降噪处理的新方法;AKAR等[62]使用小波包变换对心电信号进行处理,实验证明可以较好降低心电信号中的噪声,解决了小波变换只对低频信号进行处理的局限,分解更加细化。

Hilbert-Huang变换是一种新兴的时频分析方法,能有效处理非线性非平稳信号问题,但存在操作时间过长、结果精准度不高等问题[63]。针对脉率变异性提取方法,丑永新等[64]提出一种基于Hilbert-Huang变换的脉率变异性信号(PRV)提取方法,即对脉搏信号进行经验模态分解,得到脉搏信号的内禀模态函数及其边际谱,根据边际谱的频率范围选取能反映脉率变化的内禀模态函数分量,从分量中提取PRV信号。将所提出的方法应用于实际采集的脉搏信号,能从脉搏信号中准确地提取PRV信号,并且抗噪性很强。

2.2.4数字滤波方法

实验采集的动物生理信号存在大量的噪声,时域分析法、频域分析法、时频分析法在消除和减少信号噪声时存在局限和制约。数字滤波的原理是输入信号中有用成分和希望除去的噪声部分各自占有不同的频带,把输入序列通过一定运算变换成输出序列[65]。段力等[66]提出了一种基于数字滤波的呼吸信号去噪方法,仿真实验表明该方法能够有效去除呼吸信号中的高频噪声干扰和抑制基线漂移,为临床上实现便携式呼吸监测打下基础;张志鹏[67]使用基于LMS算法的自适应滤波器消除了与有用信号频域重叠的运动伪迹干扰噪声,提高了运动状态下血氧饱和度检测数据的精确度;ACHARYA等[68]使用研制的自适应Savitzky-Golay滤波器在不同信噪比下对噪声合成脑电波图信号进行了测试,自适应SG滤波器去除了噪声,保持了信号的原始形状,该方法计算简单,速度快,效率高。此外,该方法还可用于其他信号,如心电图、肌电图、脑电波图。

2.2.5综合分析方法

信号分析与处理通常结合多种方法以实现更加全面的功能,如赵素文等[69]先对PPG信号进行9层小波分解得到具有较高信噪比呼吸波,并用改进的FFT频率估计法从该信号中提取呼吸率,仅用光电传感器便能同时完成呼吸率、心率及血氧饱和度等多项指标的监测。针对心电信号处理中噪声难以消除问题,殷俊鹏等[70]提出一种基于小波域数字滤波的基线漂移去噪算法,采用提升小波分解心电信号,对最高层尺度系数做数字高通滤波处理,并重构得到去除基线漂移信号,在计算复杂度和性能方面能取得比传统算法更好的平衡;郭洪量等[71]利用小波分析进行预处理,再利用简单整系数滤波器进行进一步消噪,改进的心电信号消噪方法性能优于传统的小波阈值去噪法和数字滤波法,处理时间比小波阈值去噪法低33%;GERMAN-SALLO等[72]利用连续的小波变换和频谱分析结合的方法对心电信号进行处理,降低信号的噪声效果显著。此外,神经网络等智能算法也得到了广泛应用,MICHIELLI等[73]提出了一种基于长短期记忆块(LSTM)的级联递归神经网络(RNN)结构,处理脑电波信号,对睡眠阶段精准分类;GHADERYAN等[74]提出了一种新的简单而有识别性的算法,该算法采用了最小生理信号数目和时变奇异值分解(TSVD)方法,与以往的傅立叶变换、倒谱变换、小波变换和传统的方法相比,该方法具有更好的性能。

2.3信息传输技术

穿戴式设备通过信息传输技术实现网络互联,信息传输技术实现对传感器采集的关键信息进行快速有效存储、分析和处理,图5所示为畜牧养殖穿戴式信息传输网络示意图。为实现奶牛体温信息的实时远程监测,武彦等[75]以CC2430芯片为核心开发了测温节点、路由节点和协调器节点,基于ARM9的微处理器S3C2440A和嵌入式Linux构建了网关节点,采用ZigBee技术实现无线网络自组网和监测数据自动汇聚,并用LabVIEW设计了数据存储、体温监测预警及系统运行状态监视的上位机软件,该系统为奶牛疾病及分娩期预测提供了有效工具;李丽华等[76]以ATmega16单片机为核心进行数据采集传输,使用C#语言编写人机交互界面,实现了蛋鸡体温变化的实时采集、存储、显示以及历史数据查询,该装置体温测量误差为0.1%;王世平等[77]采用CC2530芯片作为主控芯片处理传感器采集的数据,上位机软件使用VC#编写,总体处理比较稳定;李年攸等[78]采用Arduinomega2560单片机处理采集的养殖环境数据,可实现大型养殖场环境(温度、湿度、光照)的自动监控,在降低养殖户专业知识门槛的同时,节约财力物力的投入,提高了养殖的经济效益。

作为穿戴式设备,要体现携带方便、穿脱方便、操作灵活、安全性高以及低功耗等特点,无线通信设备具有至关重要的作用。无线通信技术能够实现穿戴式设备与智能设备的相互关联,吴振宇等[79]提出一种基于蓝牙4.0BLE协议栈和GSM移动通信网络的新型无线心率穿戴式设备,具有体积小、功耗低、结构简单、穿戴方便、测量准确、实时性好和成本低等优点;刘忠超等[80]将处理的养殖环境信息使用ZigBee无线传输给智能终端,实现了对牛舍环境的远程无线实时监测,但传输不稳定,容易受外界环境的影响;于晓婷等[81]设计了一种畜牧业免疫管理系统,运用NFC技术对畜牧免疫信息进行存储,用户可以通过手机软件或网页进行畜牧信息的管理;MA[82]使用主动RFID进行种猪的个体识别和生命指标的采集,指标包括了呼吸、脉搏、血压、体温,实现无源更低功耗采集生理数据,操作更加方便,信息更加安全,但不能实现连续动态监测,其更多应用于追溯方面。表4所示为各种无线通信技术的比较与分析。

2.4人机交互技术

人机交互技术是实现人与穿戴式信息监测设备之间语音交互[83]、姿态交互[84]、眼动交互[85]等方式的互动技术(如图6所示)。人机交互技术的发展为消费者带来了更好的用户体验,同时也是穿戴式技术实现解放双手的重要技术之一。基于视觉的手势识别率低,实时性差,需要研究各种算法来改善识别的精度和速度,眼睛虹膜、掌纹、步态、语音、人脸、DNA等人类特征的研发应用也正受到关注,多通道的整合也是人机交互的热点,另外,与“无所不在的计算”、“云计算”等相关技术的融合与促进也需要继续探索。

目前,相关研究已经取得一定进步,如ZHANG等[86]根据人体生物电信号的特点,设计了皮层信号采集与调节电路,利用特征提取算法识别人体行为特征,然后利用物联网建立无线局域网,该系统的建设为物联网环境下的无线控制和康复娱乐的应用和扩展提供了一个有效可行的方案;MALASSIOTIS等[87]使用深度摄像头对空间人体部位识别与跟踪,利用深度与手部几何特征,进行手势与姿态识别;盛卫华等[88]采用一个惯性传感器来采集被试验人手指部位活动的信号,运用人工神经网络进行手势捕捉,并应用一个分层隐马尔可夫模型结合前后手势的关联信息,精准实现了穿戴式设备的人机交互。此外,基于生物特征识别技术的穿戴式人机交互系统可以带来更自然、更轻松的交互体验[86]。总体而言,当前人机交互的智能化水平相比于人们的构想还存在较大的差距,需要进一步改善。

3畜牧养殖信息监测穿戴方式比较

穿戴式监测方式直接影响对动物健康状况实时、动态、连续监测过程的可操作性及监测结果的稳定性和准确性。表5所示为穿戴式信息监测方式比较与分析,按照穿戴方式分为体内和体外监测,按照创伤程度分为微创和无创等。体外监测又分为束缚式和贴覆式,其中束缚式具有穿戴简单方便、价格便宜等优点,但容易脱落,受外界影响大,监测准确度较低,受动物大小限制;贴覆式监测方式常常受监测对象限制,很难连续监测,续航较差,并且需要安装工具,但该穿戴方式不易脱落。体内监测通常采取植入式将传感器微型装置导入体内,该监测方式监测精度高,不受监测对象大小限制,不易脱落,但价格比较昂贵,续航能力差,传输距离有限。无创穿戴方式通常监测精度较低,但对大多数监测对象的日常行为没有影响,续航能力较好;微创监测方式一般对监测对象的健康状况有轻微影响,但该穿戴方式不易受外界因素影响,监测准确度较高。

单个/网路:穿戴式设备具有监测一种或多种参数的功能,实现农场动物生理信息和环境信息感知,保证数据采集的实时性和可靠性,并且能高效率地进行数据采集、传输和记录,尽可能少的时间占用少的系统资源,对于多参数同时监测的情况下,是确保可穿戴设备正常运行的重要因素。周龙甫等[96]采用系统集成方式,整合多个传感器模块,完成整机设计实现了动态监测运动情况下的生命基本体征和周边环境信息,对于保证动物健康具有积极作用。

动物汗液中富含各种与疾病和健康有关的生物标记物,通过对这些标记物的检测分析,可以监测动物身体健康状态。KOH等[97]提供了一种微流体装置,定义了一组汗腺接入点,通过捕获汗液并对氯离子、葡萄糖、乳酸等标记物进行化学分析,从而达到健康监测的目的,监测结果包括汗液率、汗液流失等;GAO等[98]提出了一种传感器阵列,用于多重原位汗液分析,穿戴式系统通过对汗液中的钠离子、皮肤温度等生物标记物进行检测,能够实时掌控汗液特征,该技术可以提供一种新的监测动物指标用于农场动物监测中,具有十分重要的研究意义。

体内/体外:与体外监测相比,植入体内监测具有较高精度,但缺点是操作不方便。何东健等[92]设计了一种植入式传感器和体温实时监测系统,将该植入式设备植入奶牛阴道内,能够有效对奶牛阴道部位的体温进行实时监测,虽然能够准确监测奶牛体温,但操作比较繁琐、较难控制、续航能力较差、影响动物日常生活和健康状况;ROSE等[99]开发了一种贴附在表皮上的传感器贴片,实现了在智能终端上读取溶质和电位传感溶质和表面温度,操作方便而且不影响动物的日常生活和健康状况;纳米多孔铂电镀会产生极强的拉伸应力,尽管经过等离子体处理可提高粘附力,但仍会导致纳米多孔铂在柔性聚合物基体上剥落,YOON等[100]通过改进柔性不锈钢解决了这一难题,并开发耐磨、坚固、灵活和非酶连续血糖监测系统,实验结果表明柔性不锈钢对提高金属层与基体的结合力有很好的效果,所开发的无线系统包括电化学分析电路、微控制器单元和无线通信模块,通过两种动物试验评估了连续血糖监测系统,显示出该植入式可穿戴血糖传感器具有良好生物相容性。

微创/无创:穿戴式设备工作过程一般为微创或无创方式,目的是尽量减少对农场动物的伤害,降低应激程度。屈东东等[93]设计了一种安装在奶牛耳道边沿的穿戴式设备用于监测奶牛的体温,该设备主要由数字温度传感器、基于ARM9的微处理器S3C2440A组成,实现了对群养奶牛体温的远程实时监测,为奶牛疾病及分娩期预测提供了有效工具,对其他大型动物的监测也具有一定的指导意义;KOH等[97]提供一种柔软穿戴式的微流体装置,采用无创的方式紧密贴和皮肤表面,从而对汗液进行分析;针对现有基于脉搏波传导时间法或脉搏波特征参数法的血压测量模型存在的不足,谭霞等[101]提出利用平均影响值法从提取的脉搏波传导时间和脉搏波特征参数中优选出对血压影响较大的参数作为输入量,血压作为输出量训练BP神经网络模型,然后采用遗传算法对个性化参数进行优化,从而建立一种连续血压无创监测GA-MIV-BP神经网络模型。

4发展趋势展望

畜牧养殖信息化已成为现代牧业的重要发展理念,有助于肉产品质量的安全可追溯,提升我国畜牧养殖体系的运作速度和质量,同时促进我国畜牧养殖基础数据和适合我国国情的信息化模式的形成。本文在现有研究成果的基础上,并借鉴穿戴式技术在人身上的应用情况,提出畜牧养殖穿戴式信息监测技术的发展趋势:

(1)信息获取方式由人工采集向自动化采集发展。传统的信息获取方式具有工作量大、主观性强、精度低等缺点,无法满足畜牧养殖业日益增长的实际需求。穿戴式信息监测技术集成多元传感技术与通信技术为一体,可实现对养殖场动物生理参数及环境参数的实时、连续与自动采集,从而保证了养殖场信息资源的高效获取。

(2)穿戴式传感器将向微型化和柔性化方向发展。传统的穿戴式设备功能单一,结构简单,且适应性较差,无法满足对养殖场动物的监测需求。随着柔性传感器和生物传感器等新型传感器的出现,穿戴式传感器逐渐具有了柔韧、可延展、可植入等功能,为穿戴式技术提供了新的研究思路。

(3)信号处理与信息传输将向多元化、复合化和智能化方向发展。穿戴式信号处理技术由单一的信号处理方法到多种信号处理方法相结合,克服单一方法在信号处理方面的局限性。信息传输更加快捷,近场通信技术(RFID/NFC)、短距离无线通信与较远距离无线通信并存,可满足不同应用场景的需求。这些技术的应用对于养殖场动物生理及其生活环境信息的获取具有重要实践意义。

基于神经网络的手势识别范文第5篇

 

1.1从“人工智能”到人机系统

 

Wiener的“控制论”和钱学森的“工程控制论”是人们研制较为简单的系统,且系统运行的环境也不复杂情况下的一面旗帜。

 

1956年,在美国Dartmouth举行的一个信息科学大会上,J.McCarthy和H.Simon倡议开展人类思维活动规律的研究,并给予其“人工智能”(ArtificialIntelligence)的命名。人工智能主要研究用人工的方法和技术来模仿、延伸及扩展人的智能,从而实现机器智能。迄今为止,这一方向虽然已取得了不少成就,如博弈、自动定理证明、模式识别、自然语言理解、自动编程和专家系统等,但是,传统的人工智能在方法论上以符号推理为中心,企图用机器来实现人类的思维活动。所以,许多年来的研究虽然取得了一些成就,但距离人工智能提出的目标还有很大距离。

 

近三十年来,人工智能进展缓慢。1979年,H.L.Dreyfus《计算机不能做什么?》一书的副标题就是“人工智能的极限”提出了人工智能存在不可逾越的障碍。紧接着,以人工神经网络为代表的“计算智能”和Brooks的反应式结构(“没有表示”、“没有推理”的系统)给传统的符号智能带来了巨大冲击。特别是日本提出的“第五代计算机”并没有达到预期的目标,仅以实现一个“人机对弈”而告终,这些事实都促使人们对“智能”(或“人工智能”)要有一个重新的认识。对人工智能四十年的研究进行反思,使人们从科学概念上明白了以往不自觉地企图用机器解决一切问题的局限性,并试图从科学观念、研究目标和方法论上打开思路,以重新认识,寻求新的途径。

 

另一方面,四十年来,特别是从最近二十多年科学技术的发展来看,在当前的信息社会中,信息技术是立国之本,信息化的进一步发展必然走向“智能化”因此,以“智能”为核心的技术是至关重要的。从两次海湾战争以及其他局部战争,我们可以十分清楚地看出,今后的战争是人——机结合的智能系统之间的对抗,而智能技术将会覆盖几乎所有的工程技术领域。

 

既然完全基于机器的符号推理(也包括其他的智能方法)不能达到实现人的思维的目的,那么有没有其他道路可循?这是人们都很关心的问题。解决这个问题要从两方面着手。一方面,需要脑科学、认知科学等一些研究人的智慧的基础学科继续研究人的思维规律一一这也是人类永远的追求。虽然目前还不能做到这一点,但人们总是在不遗余力、一步一步地向着这一目标前进。当然,这也是人类社会发展赋予智能学科的一个任务,这就是智能科学的目标。另一方面,社会生产、生活、科技、军事各个方面又提出了层出不穷的需求,迫切要求设备、系统、工程要“智能化”而现在尚没有真正能模拟人的智慧的计算机,因此计算机还不能代替人。解决这个问题只有从两方面入手,一方面实事求是,尽量开拓、发展当前的计算机科学技术,使计算机尽可能多地帮助人做工作;另一方面,尽可能把人的智慧包含到系统中去,人要起主导作用,但要充分发挥计算机科学与技术的优势,创造出最有“智能”的人机结合系统。

 

具体来说,人机结合的系统就是将人作为一个组成部分包括到系统之中,并能清楚地区分出哪些工作应该由人完成,哪些工作应该由机器完成。在运行过程中,当进行到需要人完成的工作时,系统就将工作交给人;而当需要机器完成时,就将任务转交给机器,最终构成一套和谐的、协调的、高效的运行机制,以保证系统目标的实现。

 

1.2“智能”学科的三个层次

 

根据研究任务的不同,智能科学技术的学科内容可以划分为智能科学、智能技术、智能工程三个层次。

 

(1)智能科学(IntelligenceScience)

 

这是基础研究的层次,它的主要任务是研究人的智慧,建立人机结合系统的理论,并用其模拟人的智慧。智能科学主要包括脑科学、思维科学、认知科学等在内的基础学科。

 

思维科学着重研究人的思维规律,也就是研究人是如何思维的,这种研究的目的是为了给人工智能提供基础,也就是告诉计算机要模拟什么。而认知科学则是研究人的认识,也就是人是如何认识事物的,并将其扩展去研究动物的智能。

 

智能科学的成果将是整个智能科技发展的基础和先导。

 

(2)智能技术(IntelligenceTechnology)

 

在智能科学的框架内创建人机结合的智能系统,需要有合适的方法、工具和技术,这就是智能技术。

 

信息的本质是知识,而知识是构成智能的基础。因此,信息化发展必然走向智能化。

 

(3)智能工程(IntelligenceEngineering)

 

用智能科学的理念和思想,充分运用智能技术工具去创建各种应用系统,这就是智能工程。“智能化”实质上就是智能工程实现的过程和归宿。智能工程是当前科学技术和社会发展的前沿阵地,特别是高技术发展的核心动力之一。同时,它也是当前新技术、新产品、新产业的重要发展方向、开发策略和显著标志。

 

2无处不在的智能科技

 

2.1前沿高技术是智能科学技术发展的动力和源泉

 

智能科学技术是一个融合计算机、人工智能、模式识别等研究领域的交叉性学科,这些前沿高技术也是当前智能科学发展的动力和源泉。

 

在所有系统中,体现智能行为的工具和载体就是计算机。所以,计算机科学很自然地成为智能科学发展最重要的支撑点和原动力之一。

 

以符号推理为基础的人工智能方法和以人工神经元网络为代表的计算智能方法仍然是当前智能技术的重要组成部分。它们从不同的途径和方法进行问题求解,在搜索、规划、学习等各类问题中取得了相当有价值的成果。

 

模式识别是人类智能的一种体现。“模式”是一个极为广泛的概念,如图像、图形、文字、语言都是一种“模式”。按Zadeh的定义,“模式识别”是一种从“模式”出发的一种非线性映射,它是一种技术,可以用来实现人类智慧的一部分功能,如文字识别(认字)、语言的说与听等。模式识别的目的是将对象进行分类,可以是图像、信号波形式或者任何可测量且需要分类的对象。模式识别在工业自动化以及信息处理和检索中变得日益重要,这种趋势把模式识别推向工程应用研究的高级阶段。在大多数机器智能系统中,模式识别是用于决策的主要部分。

 

模式识别技术在各种工程实际系统中大量存在。机器视觉的主要技术基础就是模式识别;OCR(光学字符识别)是模式识别的另一个重要应用,它是识别文字字符信息的很主要的手段;计算机辅助诊断也是另一个重要的应用,多种医学图像处理已成为当前信息产业的一个热点;语言识别当然是模式识别另一个研究和应用的热点。其他如指纹识别,以及其他生物器官的识别、签名认证、文本检索、表情和手势识别,都是很有趣的研究领域,也是用来开发人机结合智能系统的很有价值的技术。

 

当前,对复杂智能系统进行研究的核心是解决人与机器的结合问题,也就是人作为系统的一个组成部分参与到系统的运行中,系统功能中也应体现出人的一部分作用。人与机器的结合有两个层次,一是人作为一个成员,综合到系统的体系结构中;一是人和机器的结合通过某个“人机界面”来实现。当然,这种界面不仅仅是目前计算机普通采用的图标界面,而是包含了模式识别这类涉及感知方面问题的广义的人机界面。这是当前十分活跃的一个研究领域,最有代表性的包括多媒体技术和虚拟现实(VirtualReality)技术。

 

2.2现代工业生产和复杂工程急需智能科学技术

 

随着社会的发展,人类在生产、生活等各个方面也不断提出新的需求,因此现代工业生产不断壮大,并日趋复杂。现在,现代工业生产和复杂工程急需智能科学技术,一批已经在发挥重要作用的技术如下:

 

*智能自动化和控制技术生产过程监控、产品自动检测和质量控制、工艺参数的优化和自动设定、故障自动诊断的报警等;

 

*智能CAD复杂工程的优化设计智能仪表对工艺参数的自动分析、监测、报警和调整;

 

智能交通红绿灯管理、基于GPS与电子地图的定位与导航、安全监控、车流自动疏导等;

 

*智能仿真技术,这是大型复杂工程设计不可缺少的手段。

 

2.3智能科技是现代军事科技(包括航天领域)最重要的关键技术之一

 

智能科技是现代军事科技最重要的关键技术之一。近代科技发展的历史表明,军事的需求总是科技创新的最大动力之一,“以军带民”是一般规律。军用技术辐射和带动国民经济是一条促进社会经济发展十分有效的途径。因此,军事科技(包括航天领域)也是应用智能技术最多的领域之一。

 

未来战争的重要武器——无人作战平台(无人机、无人战车、自主水下机器人、机器人士兵等)的自动导航、路径规划、自动避障、目标识别、自动驾驶和其他自主控制技术等都是智能技术的典型应用。以无人机为例,它是现代战争中掌握制空权的重要手段,在近年来的几次局部战争中都发挥了很大作用,例如它可以进行侦察,发现目标后引导有人飞机实行攻击,并对攻击效果进行评估。

 

在地面军用机器人中,智能技术也发挥着重要作用。

 

地面军用机器人不仅可以在平时帮助人类排除炸弹,完成要地保安任务,还可以在战时代替士兵执行扫雷、侦察和攻击等各种任务。例如,美国的ALV是一种高水平的陆地自主军用机器人,它采用各种智能技术来实现自主操作。ALV装有高级彩色摄像机(视觉),用以识别道路,同时还配备有阵列激光测距仪,用以识别障碍;它可以根据道路场景规划行车路径,避免碰撞,躲避障碍,实现公路上的自动驾驶,行车速度可达60千米/小时。除此之外,车上还可装载各种仪器,以完成不同的侦察任务。

 

防爆(暴)机器人是机器人发挥威力的另一重要领域。暴徒、爆炸、火灾以及其他灾害都是非常危险的环境,因此用机器人去处理是减少危险、提高成功率的有效途径。在反恐斗争中,有针对性地研制这类机器人,是当前迫切需要解决的问题。

 

航天领域综合展现了最高水平的智能科技,人造卫星、航天器和各种太空探测器是当代高水平智能技术的综合体现。在2004年初,在火星成功着陆的火星探测机器人是最有说服力的例子之一。

 

2.4为人类生活服务是智能科技发展的广阔天地

 

为人类生活服务是科技的重要方向。随着人类生活水平的不断提高,生活质量也需要不断改善,服务要求更周到,做到方便、舒适、节约、安全,更具人性化。这种需要也为智能科技的发展增添了新的活力。

 

具有一定智能的机器人代替人做服务工作是一种发展趋势,这也是智能技术为人类服务最有代表性的事件之一。

 

这类机器人的典型例子有:可以自动完成清扫任务和自动充电的清扫机器人;能辅助医生进行外科手术的医疗机器人;能为病人服务的机器人护士;可在家中进行巡视、监测潜在危险情况并适时报警的家庭保安机器人;用于照顾老、病、残的服务机器人等。

 

总而言之,只要有需要的地方,就有可能是机器人可以服务的地方。

 

3对"智能科学与技术〃专业架构的思考

 

从上面列举的很少一部分实例,我们已经可以看出当前智能科技的发展状况。它无处不在、发展迅猛、功效卓著,已经成为当前科技发展不可缺少的部分。它是许多重大工程的支撑,引领许多传统领域向现代化方向发展,是当代前沿高技术发展的重要方向。

 

另一方面,计算机科学、信息科学、控制科学等学科的进步,也极大地促进了智能科技的快速发展,智能化科技已经展现出一幕幕诱人的场景。科技发展的根本是人才,“智能科学与技术”大学本科专业已经成功设立,迈出了培养高层次人才的关键一步,这必将推动我国的智能科技更快地向前发展。

 

目前,追溯各个设立“智能科学与技术”专业学校的本源,可以发现各校之间差别甚大。有的学校的“人工智能”专业从计算机科学延伸而来,有的则来自控制科学和控制工程,还有的由信息科学的其他分支演变而来。在归属方面,有的学校将其归于理科,而有的学校则将其纳入工程学科。此外,设置该专业的行政学院亦有所区别,不同学校的智能学科分别隶属于各类学院。这种现象正好说明“智能科学与技术”这一学科发展的多源性,学科发展的空间大,应用需求面广。

 

另一方面,面对这样一个蓬勃发展、涉及面极广的新兴学科,如果培养各层次的人才,高校教育应该有一个怎样的架构,已经成为一个不可回避的问题摆在我们面前。解决好这个问题,就可能推动学科和人才培养顺利发展。从学科发展的多源性和应用面的广谱性来看,智能学科不可能作为另一个学科的二级学科来发展。从学科的性质来说,“智能科学与技术”应该建立一级学科的架构。根据我国教育体制的结构以及多层次人才培养的需求,可以设想如下架构。

 

“智能科学与技术”作为一级学科,设一级学科博士点,根据各个学校的不同情况,将其分别归属为理学或工学。对于不同的归属,该专业在培养目标和培养方式上应有所区别,理学应偏重基础研究,而工学则应注重技术和工程。一级学科下设若干个二级学科,二级学科设硕士点和博士点。二级学科的设置需要更进一步考虑学科发展的多源性以及延拓应用的专业性,梳理分类,并结合现实的需要与可能,经过充分的讨论后来决定,这是多层次架构中最复杂的环节。

 

以上架构属于人才培养架构的高层次,即研究生培养阶段。目前,更有现实意义的是解决本科阶段培养中的问题。现在,多所高校招收了“智能科学与技术”专业的本科学生,并开始有毕业生走向社会,因此正是总结经验,走向新的发展阶段的时机。本科教育是学科发展的根本,有了本科基础,各层次人才培养就有了基础,高层次创新人才培养就有了希望。由于“人工智能”学科的多源性,各个学校的培养方案有不少差别,有的按理学,有的按工学。按照国家的教育体制和社会需求,按理学或工学适当规范本科教学方案,对当前推进“智能科学与技术”专业的健康发展是非常重要的。