视频语义标注研究及原型实现
开篇：润墨网以专业的文秘视角，为您筛选了一篇视频语义标注研究及原型实现范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
【摘要】本文基于MPEG-7描述标准，研究了视频低层特征颜色、纹理和形状等特征的提取方法。构建了语义标注原型系统的设计框架，采用LS-SVM的Tri-Training算法在效率上和样本需求上提供了应用的可行性。
【关键词】视频语义标注半监督学习Tri-SVM MPEG-7
一、相关概念
（1）视频语义标注的方法。视频语义标注分为对象层标注、关键帧图像层标注、场景层标注、视频节目层的标注。（2）MPEG-7媒体描述标准。MPEG-7是由国际标准化组织和国际电工委员会联合开发的标准，它提供了使用XML对多媒体元数据的一个标准化表达，通过对描述文件的分析，将传统文本处理技术引入视频处理中，且可处理高级语义信息。
二、视频的结构化和特征
（1）镜头分割：重在检测镜头变化的边界。其检测方法分为模板匹配法、直方图方法、基于边缘的方法和基于模型的方法。本文采用简单高效的改进的颜色直方图方法，但单一帧间差阈值选择对渐变切换很难进行，使用自适应双阈值镜头分割算法能有效改善此问题。（2）关键帧提取：视频的关键帧提取代表镜头的静态特征。常用关键帧选取有：镜头边界法、帧平均法、基于内容的分析方法和基于光流的运动分析方法。（3）场景边界分割：把场景检测看做一个镜头分组过程，关键在于定义镜头的视觉相似性。本文采用基于多特征的相似镜头聚类实现对场景边界的划分。（4）视频低层特征。颜色特征：RGB颜色模型用三维空间中的一个点来表示一种颜色，每个点有三个分量，分别代表该点颜色的红、绿、蓝取值；HSV颜色模型由Munsell空间坐标表示，由H色调、S饱和度、V亮度三个分量组成。纹理特征：MPEG-7有同构型纹理描述子、纹理浏览描述子、边缘直方图描述子三种描述纹理图像特征的方法。形状特征：MPEG-7中定义了基于区域的形状描述子，轮廓形状描述子，三维形状描述子。
三、基于半监督学习协同训练的语义标注
（1）LS-SVM算法。Suykens提出的最小二乘支持向量机，利用等式约束条件替代了SVM中的不等式约束，使用二范数对准备优化的目标函数进行处理，使得最小二乘支持向量机方法的优化问题变为通过Kuhn-Tucker条件转化为求一组线性方程组解，大大降低计算量。（2）半监督学习方法。从实际情况看大量有标记的样本较难获得，未标记的样本易获取。采用半监督学习方法，即使用少量的已标注数据和大量的未标记数据作为训练集，有效地解决视频标注训练样本不足的问题。（3）基于Co-SVM和Tri-SVM的视频语义标注实验数据的比较。提取前面两类不同特征作为互补样本，采用不同核函数以增强分类器的互补性，首先提出Co-SVM算法通过分析进一步提出改进的Tri-SVM算法。方法是选取15个视频片段，先对其做分割处理，得到约8000个镜头，每个镜头均匀选择10个关键帧，对颜色特征，将图片划分为9个区域，分别进行特征提取包括8*9=72D主颜色特征，得到特征集V1，80D边缘直方图特征，得到特征集V2。使用设计的手工标注工具，对其中1000个镜头进行标注，形成标注集，其余7000个镜头作为未标注集。
四、语义标注原型系统设计
基于Tri-SVM分类器的自动语义标注系统是采用Visual C++ OpenCV平台，用OpenCV完成低层特征的提取；使用开源库中的MPEG-7 C++ Library完成MPEG-7 XML框架的解析；使用LS-SVMLab开源库辅助完成分类器的设计。（1）主颜色描述子的提取：用少量的代表色取代整个图像的特征，具有维数低、检索速度快等优点。边缘直方图描述子的提取：采用MPEG-7边缘直方图描述子作为关键帧纹理特征描述。区域形状描述子的提取：采用MPEG-7推荐的角放射变换ART系数对图像进行形状特征提取。（2）场景构造模块。系统对镜头中关键帧提取颜色特征、纹理特征而后对关键帧进行语义分类。然后计算镜头语义信息的相似性。方法是提取镜头中关键帧的概念词，并对其进行词频排序，组织成关键帧向量。（3）手工标注模块。本文开发手工标注程序，以实现对训练视频样本的标注。手工标注工具可加载视频自动分割模块产生的XML描述文件，将镜头序列显示在窗口中。（4）Tri-SVM自动标注框架。标注框架中增加对标注结果的后处理，主要是利用语义特征在视频中分布的时间相关性和局部等特性。
五、总结与展望
本文基于MPEG-7的视频低层特征抽取和度量方法，进行了视频标注原型系统的设计。不足之处是对训练样本的选择有很大的优化空间，降维过程中对特征的选择有待进一步完善，使用低层特征时未考虑动态特征。
参考文献
[1]鞠峰.《自动审看MOV标清素材全方位实践》―――第二十五届华东电视技术年会.上海，2012