一种基于非监督判别语义特征提取的文本分类算法
开篇：润墨网以专业的文秘视角，为您筛选了一篇一种基于非监督判别语义特征提取的文本分类算法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘要：语义特征提取对于实现文本数据特征空间降维，滤除数据噪声，提高文本数据分类准确率有着重要的意义。论文在传统特征提取算法的基础上提出了一种非监督判别语义特征提取降维算法，并对此进行了算法有效性论证和实验结果比较及分析，验证其在分类准确性、时间复杂度、抗噪能力等方面都有较好的性能。
关键词：特征提取 非监督判别规则 拉普拉斯矩阵 局部密度矩阵
中图分类号：TP391.1 文献标识码：A 文章编号：1007-9416（2012）11-0128-02
1、引言
在互联网日益发达的今天，数据库和网络的大量普及，各种电子文本数据急剧增加。如何快速有效地检索数据信息，并管理使用这些信息，已成为智能信息科学领域不容忽视的重要课题，内容文本分类是根据给定文本的内容，将其判别为事先确定的若干个文本类别中的某一类或某几类的过程[1]，可以在较大程度上解决目前“信息爆炸”的现象，方便用户高效无误地定位所需的信息。
语义特征提取是内容文本分类中一项关键技术，但目前没有哪个算法在处理高维数据时能够较好地兼顾算法效率、分类准确率、召回率等方面[2]。本文在借鉴现有文本分类算法和分析高维数据降维后重构特征项信息的基础上，提出了一种非监督判别语义特征提取算法。该算法考虑到文本特征的复杂性及多标记和文本数据小样本特征稀疏性等特点，通过实验验证其在分类准确性、时间复杂度、抗噪声能力等方面都有较好的性能。
2.1 Fisher判别分析准则
国内外的特征提取技术总体来说可分为两大类：线性特征提取和非线性特征提取[3]。目前，对于样本数据的高维特性，如何实现负责数据降维是线性特征提取算法研究的侧重点。Fisher判别分析是典型的线性特征提取方法[4]。
FDA研究的目的是在投影后的样本中寻求一个最佳特征空间，使其实现最大的类间散度矩阵最大而类内散度矩阵最小。FDA中判别规则的构造充分考虑了局部类别信息特征压缩后，数据判别特征的保留，这适合于高维、小样本情况的算法设计，而文本分类问题正是对高维数据的处理分类。但由于文本数据特征高维稀疏，构造类内散度矩阵困难，故文本分类又有别于FDA的特征提取。
2.2 基于黎曼流形映射的非监督判别准则
黎曼流形映射的目的是期望寻找产生数据集的内在规律性，即从观察数据中寻找其本质，从高维的输入空间中发现其内嵌的低维流形，在低维空间内恢复数据集的内在的几何结构。
基于流形映射的非监督判别准则考虑数据局部分布，进行相似矩阵的构造。这种判别准则是流形映射中的线性化算法，属非监督特征抽取方法，和大多数其它算法不同的是，该准则能够生成一个显式的映射，该映射是线性且容易计算的。
潜在语义索引LSI算法的基础是特征/文本矩阵，将该矩阵进行奇异值分解以得到潜在的语义结构模型。潜在语义索引充分考虑了文本数据特征的稀疏性，以及数据特征间特有的关联性、近似性和多义性。通过奇异值分解获取特征变换矩阵，这在不影响分类准确度的基础上减少了特征提取的时间。
在内容文本的语义特征提取中，采用LSI语义特征提算法的原理，并结合基于黎曼流形映射的非监督判别准则，就有了非监督判别语义特征提取的文本分类算法。
4、基于非监督判别语义特征提取的文本分类算法
非监督判别语义特征提取的文本分类算法首先在初始文本中进行向量空间预处理，提取特征/文本的局部分布信息，并获取局部密度矩阵及拉普拉斯算子矩阵，然后通过广义特征值分解和奇异值分解构造特征变换矩阵，达到文本数据的降维语义空间聚类。因此，本文提出的算法主要包括五个步骤：构造文本信息向量空间模型、提取文本局部信息、提取文本正交特征和剔除数据冗余、判别语义特征提取和特征压缩以及聚类降维空间。
4.1 构造文本信息向量空间模型
构造向量空间模型，即使用向量来表示文本。在向量空间模型中，把每个文本看成为空间中的一个点向量，那么文本信息便是由n个相互正交的特征组成的向量空间。在向量空间模型的基础上使用特征/文本描述分别将m个文本向量化后构成文本集矩阵X。
4.2 提取文本局部信息
文本局部信息提取是通过对文本集矩阵X进行基于KNN近邻算法获取点向量的k个邻近点集，并获取邻接点向量间的欧几里得距离，转化为相似度，从而得到文本集矩阵X的相似矩阵S。在S的基础上构造对角矩阵，即局部密度矩阵D。进一步令L=D-S，L即谱图数据的拉普拉斯矩阵。
4.3 提取文本正交特征、剔除数据冗余
利用局部密度矩阵D求取文本向量均值，获得文本在特征/文本矩阵的均值具有几何中心的含义。同时在此基础上是实现文本的归一化，并对归一化矩阵X^进行奇异值分解，在计算奇异值的同时又保留了非零奇异值。容易验证对矩阵X^通过一定的正交变换可以实现有效的特征空间降维，实现文本的语义降维，剔除数据冗余，简化数据描述。
4.4 文本判别语义特征提取、特征压缩
结合满秩特征/文本矩阵X^，将局部密度矩阵D和拉普拉斯矩阵L进行广义特征值分解，通过非监督判别分析得到降维文本语义空间，即判别语义特征提取，获取分类判别能力最强的前l个语义特征。
4.5 聚类降维空间
在特征提取后的降维空间采用k-means聚类，进行文本分类。
5、结语
本文实验在综合考虑准确率和互信息这两项评价指标的情况下，分别使用LSI、NMF和非监督判别语义特征提取算法，对国际通用的典型语料数据Reuters-21578进行文本分类分析，从实验数据不难分析非监督判别语义特征提取算法克服了文本内容分类中数据维度过高，分类时间太长的问题，对于大量文本数据具有较好的分类能力，对分类信息的保持有一定意义，实验结果表明非监督判别语义特征提取算法具有 较好的分类准确率和抗噪声能力。
参考文献
[1]杨丽华，戴齐，杨占华.文本分类技术研究.微计算机信息，2006，22（15）：209～211.
[2]戴臻.内容文本分类中的语义特征提取算法研究：[硕士学位论文].长沙：中南大学，2010.
[3]宋枫溪.自动文本分类若干基本问题研究：[博士学位论文].南京：南京理工大学，2004.
[4]王怡，盖杰，武港山等.基于潜在语义分析的中文文本层次分类技术.计算机应用研究，2004，17（8），151-154.