融合评论分析和隐语义模型的视频推荐算法
开篇：润墨网以专业的文秘视角，为您筛选了一篇融合评论分析和隐语义模型的视频推荐算法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘要：针对网络视频元数据信息缺失严重和多媒体数据本身特征难以提取等问题，提出了融合评论分析和隐语义模型的网络视频推荐算法。从视频评论入手，通过分析用户对不同视频的评论内容以判断其情感倾向并加以量化，继而构建用户对项目的虚拟评分矩阵，弥补了显式评分数据稀疏性问题。考虑到网络视频的多元性和高维度特性，为了深度挖掘用户对网络视频的潜在兴趣，针对虚拟评分矩阵采用隐语义模型（LFM）对网络视频分类，在传统的用户―项目二元推荐系统基础之上添加虚拟类目信息以进一步发掘用户―类目―项目关联关系。实验在多重标准下进行，对YouTube评论集的实验表明，所提推荐方法获得了较高的推荐精度。
关键词：推荐系统；网络视频；评论分析；隐语义模型；情感词
中图分类号： TP181
文献标志码：A
0引言
随着互联网的发展，作为Web2.0时代典型代表的视频网站也开始越来越普遍地走进人们的生活，如国内的优酷、土豆，国外的YouTube等，社交媒体的发展进一步推动了网络视频网站的发展，用户在视频网站上看到满意的视频后往往会分享到Facebook、Twitter、微博等社交媒体上，同时用户也会在社交媒体上浏览发掘自己感兴趣的视频。与Netflix、Hulu等基于电影或者电视节目等传统视频网站不同，具有Web2.0特征的视频网站由于允许用户自己上传视频，其视频内容得到了极大丰富，视频维度也获得了空前发展，用户对网络视频的需求得到了持久且显著的满足。但这种用户自发性的活动也带来了不少的问题，比如网络视频碎片化、显式评分数据稀疏性问题，很多用户上传的视频质量参差不齐，缺乏足够的元数据信息甚至元数据信息错误等。同时由于视频等多媒体数据本身的属性决定，使得很难像文本分析那样直接从数据本身的角度对视频内容作特征提取和用户兴趣度建模，给项目间相似性度量以及进一步产生合理推荐带来了巨大的挑战。
构建推荐系统目前最常用的方法就是协同过滤模型，但无论是基于用户的协同过滤算法（Userbased Collaborative Filtering，UserCF）还是基于项目的协同过滤算法（Itembased Collaborative Filtering， ItemCF），都需要构建在用户―项目评分矩阵之上，而目前大多数视频网站（包括YouTube、优酷、土豆等）由于其商业属性都不提供用户评分功能，取而代之的是“赞”和“踩”之类的二元分类标准，即使是如此简单的二元分类方法，也存在很大的数据稀疏性问题。
为此，本文提出了融合评论分析和隐语义模型的网络视频推荐算法（Video Recommender Fusing Comment analysis and Latent factor model，VRFCL），它以用户评论为基础，并利用文本情感词分析技术，首先计算出用户对某视频的情感倾向度，并以此作为此用户对该视频的虚拟评分，从而构建虚拟评分矩阵，是对显式评分数据的一个有力补充。同时由于网络视频的覆盖范围之广、维度之高、粒度之细，为了更好地对用户兴趣建模，发掘长尾数据，在虚拟评分矩阵的基础上利用隐语义模型把传统的用户―项目二元推荐系统扩展为用户―种类―项目三元推荐系统，通过预估用户对某视频种类的喜好程度以及某视频与此视频种类的关联程度来为用户产生推荐。
1相关工作随着最近通信技术的发展和带宽的提高，网络视频在人们的日常网上冲浪行为中占据了越来越高的比例，Web2.0 时代的到来，使得视频网站承载的信息量呈现出爆炸式增长的趋势。不同时期的不同研究人员也分别从不同的角度对网络视频推荐系统进行了深入的研究，其中Mei等[2]提出了一个名为VideoReach的在线视频推荐系统，它没有考虑用户兴趣模型，而是根据当前用户正在观看的视频对用户产生推荐；在VideoReach中衡量两个视频是否相关的标准是由视频的文本信息（如标题、内容描述、标签）来决定的，这也是目前做视频推荐系统的主流方法。Yoshida等[3]在Mei的基础之上对发掘文本相似度进行了更进一步的粒度细化，并引入了对视频的文本数据进行语义和情感分析的概念和方法。Demovic等[4]绕过传统的基于比较文本信息的视频相似度分析途径，提出了一个基于图遍历的视频推荐方法，从用户行为角度出发，分析并对用户兴趣建模。杨兴耀等[5]通过人工标注的方法为推荐项目添加了不同的属性，进一步发掘了用户―属性、属性―项目之间的关联关系。除了上述在视频网站内部进行数据挖掘以外，有的研究者把视线投向了更广阔的范围，其中Ha等[6]引入了社交网络中用户间交互度的概念，它使用基于用户的协同过滤算法，在衡量用户间相似度时，不仅考虑用户在视频网站内部的评分矩阵相似性，更把不同用户在其他社交媒体中（如facebook）的交互度也融入进来，提高了用户兴趣建模的准确度。Nie等[1]分析了在社交网络及视频网站中相同用户的不同行为习惯，从而作为与视频网站用户行为记录的有效补充，利用社交网络中用户间交互对用户产生视频推荐，从另一个方面解决了视频网站中原有的数据稀疏性问题。这些模型虽然也有良好的性能表现，但对视频网站中已有的数据特征挖掘得并不完全，其中包括信息丰富且潜在价值巨大的视频评论信息。本文正是着眼于视频评论数据进而为用户产生有效推荐的。2VRFCL算法详述总体上说，VRFCL大致可分为以下三个阶段：用户评论情感分析、隐语义模型学习和利用隐语义模型产生推荐。下面详细介绍其过程。2.1用户评论情感分析虽然现在大部分视频网站不提供评分功能，但其丰富的视频评论信息为我们构建虚拟的评分矩阵提供了可能。SentiWordNet是一个被广泛采用的英语情感词汇字典，它按词性将英语中出现的词汇进行了情感分类，并标注出每个词条属于positive和negative 类别的权重大小，组织结构如表1所示。
其中POS列表示单词词性，如“a”代表该单词为形容词等；ID列为该行的唯一性标识；PosScore列表示单词的积极情感得分值；NegScore列表示单词的消极情感得分值；SynsetTerms列为单词本身，其中每个单词后面的数字为该单词在该词性下的语义编号，由于英语中单词的同义性，该列可能含有若干个同义词项。另外每个单词还有一个客观情感得分值，其与PosScore、NegScore两者之和为1，在SentiWordNet中并没有显示出来。对于特定单词word，定义其独立情感评分值为其积极评分值之和减去消极评分值之和并做归一化，如式（1）所示：
Sw，pos=∑i∈pset（posScorei-negSocrei）/pset（1）
其中：Sw，pos为单词w在词性pos下的情感评分值， pset表示单词w在词性pos下的词意集合，pset表示单词w在词性pos下的集合元素个数。以“good”一词为例，它包含21个形容词词性、4种名词词性、2种副词词性。对其3个不同词性分别用式（1）求平均值就可以得到good在不同词性下的情感倾向。
本文采用bagofword模型[7]分析评论文本的情感倾向，设用户u对视频i的评论为Cu，i，其中包含n个单词，记为Cu，i={w1，w2，…，wn}。首先对这n个词汇进行词性标注[8]得到每个词汇在该评论中对应其相应词性的情感倾向值，结果为Pu，i={p1，p2，…，pn}。由于用户评论中不可避免地包含很多如“the”“and”“to”等客观情感得分值较大的中性词汇，这些词汇对分析评论的情感倾向是没有帮助的，所以可以预先设置一个阈值，过滤后只保留具有较大positive或negative权重的词。设过滤之后单词个数为m，即Cu，i′={w1′，w2′，…，wm′}，其情感权重值记为Pu，i′={p1′，p2′，…，pm′}。
定义用户u对视频i其评论的情感倾向度为：
Su，i=∑mi=1pi′/m（2）
其中pi′即为该评论中出现的单词wi′的情感权重值。
从式（2）可以看出，情感倾向度是一个分布范围为[-1，1]的值，-1表示用户对该视频的评论完全持否定态度，1表示用户对该视频完全持肯定态度。这里的情感倾向度就是我们要计算的虚拟评分，由此构建虚拟评分矩阵M，如表2所示。
2.2隐语义模型
隐语义模型是最近几年推荐系统领域越来越热门的研究话题，它的核心思想是通过潜在特征（Latent Factor）联系用户兴趣和项目。隐语义分析技术从诞生到今天衍生出了很多著名的模型和方法，其中包括概率潜在语义分析[9]（probabilistic Latent Semantic Analysis，pLSA）、隐含狄利克雷分布[10]（Latent Dirichlet Allocation，LDA）、隐含类别模型[11]（Latent Class Model，LCM）、隐含主题模型（Latent Topic Model，LTM）等，其本质上是相通的，都是旨在找出潜在的主题或分类。对于网络视频推荐这个特殊的应用场景来说，由于网络视频自身多媒体特征难以直接提取，且内容繁多，种类庞杂，视频质量参差不齐等，无法使用传统的人工电影分类方法对网络视频直接进行主题分类。故本文采用LFM分析技术来发掘用户和视频之间的某些隐含关联关系，其中用户u和视频i之间的关联度可以定义为：
preference（u，i）=pTuqi=∑Kk=1pu，kqk，i（3）
其中：pu，k和qk，i是隐语义模型中的参数，pu，k度量了用户u和第k个潜在特征的关联关系，qk，i度量了第k个潜在特征和物品i之间的关联关系；pu是由pu，k组成的用户―潜在特征关联向量；qi是由qk，i组成的物品―潜在特征关联向量，隐语义模型就是通过pu、qi来评估用户u与项目i之间的关联关系的。
对于虚拟评分矩阵M，设其中所有的评分项构成了集合R={（u，i，rui）}，其中rui为在2.1节中介绍的用户u对视频i的虚拟评分。为了求出式（3）中隐语义模型的具体参数，需要利用R中的评分集合学习隐语义模型，为此可以通过如下方法来构建参数pu，k和qk，i所对应的损失函数：
L=∑（u，i）∈R（rui-ui）2+λpu2+λqi2=
∑（u，i）∈Rrui-∑Kk=1pu，kqk，i2+λpu2+λqi2（4）
其中：ui是利用现有的模型参数预测出的用户u对视频i的评分值，λpu2+λqi2是用来防止隐语义模型过拟合的正则化项，利用它可以惩罚潜在特征的复杂度。当算法刚开始执行的时候可以先对pu、qi进行随机初始化；在隐语义模型的学习过程中，如果要最小化上述损失函数L，可以利用随机梯度下降算法。它首先通过求参数的偏导数找到最速下降方向。对pu，k、qk，i分别求偏导数可得式（5）和式（6）：
Lpu，k=-2qk，i×eu，i+2λ×pu，k（5
Lqk，i=-2pu，k×eu，i+2λ×pk，i（6）
其中eu，i为利用现有的模型参数进行预测得到的预测误差，即eu，i=（rui-ui）2。在式（5）、（6）的基础上，通过迭代法对集合R中的所有评分项进行遍历并更新相应的pu，k、qk，i之后便可以得到使预测误差最小的pu，k和qk，i的最优值，更新方法如下所示：
p′u，k=pu，k+α（qk，i×eu，i-λ×pu，k）（7）
q′k，i=qk，i+α（pu，k×eu，i-λ×pk，i）（8）
其中：pu，k、qk，i为更新前的数值，pu，k′、qk，i′为更新后的数值，α为学习速率，它决定了模型收敛的速度，具体取值需实验验证。
2.3推荐过程
基于2.1节和2.2节对用户评论情感分析和隐语义模型的介绍，下面详细介绍其推荐过程。
输入用户评论集合C，推荐比例percentage（%）；
输出针对评论集合中出现过的所有用户的推荐项目集合I。
步骤1利用2.1节介绍的词性标注和评论文本情感分析方法即式（1）、（2）构建虚拟评分矩阵M，并统计出用户u发生过行为的项目个数nu。
步骤2在评分矩阵M的基础上采用2.2节介绍的训练方法即式（4）～（8）循环遍历M中的用户评分项以学习隐语义模型参数。
步骤3对用户u利用步骤2中学习到的隐语义模型评估其与未发生行为项目i之间的关联度preference（u，i），具体方法见式（3）。
步骤4重复执行步骤3直至遍历完用户u的所有未发生行为项目，按关联度从高到低排序找出与用户u关联度最高的nu×percentage个项目作为对用户u的推荐项目添加到推荐集合I中。
步骤5对评论集合中出现过的每个用户循环执行步骤4直至遍历完所有用户为止，输出最终推荐集合I。
3实验评估与分析
3.1实验数据集
实验采用YouTube评论数据集[12]，它是由爱尔兰都柏林大学的研究人员通过YouTube API爬取的包含自2011年10月31日起，至2012年01月17日为止时间段内的部分视频评论信息。此评论集共包含2860264个用户对6407个视频产生的6431471条评论信息。对此数据集实施过滤，屏蔽掉评论语言为非英语的评论和垃圾评论，得到过滤后的评论数据集，它包含10804个用户对6153个视频产生的519250个评论，其中每个用户至少评论过20个以上的视频。
3.2评估标准
本文采用十折交叉验证法（10fold cross validation） 分别从统计精度评价方法和决策精度评价方法两个方面来衡量VRFCL推荐算法的性能。其中统计精度评价方法中常用的衡量标准有绝对平均误差（Mean Absolute Error，MAE）、平均绝对百分比误差（Mean Absolute Percentage Error，MAPE）、均方根误差（Root Mean Square Error，RMSE）等[13]。由于均方根误差对一组测量中的特大或特小误差反映非常敏感，所以均方根误差能够很好地反映出测量的精密度，本文采用均方根误差作为统计精度评价方法衡量标准。其形式化定义如下所示：
RMSE=1n∑ni=1（yi-i）2（9）
其中：yi为2.1节中通过评论情感分析得出的实际评分值，i为经过2.3节中的推荐过程后得出的预测评分值，n为最终推荐集合R中包含的元素个数。
另一方面，推荐系统实际上是一个决策问题，针对某一特定视频，我们需要根据某用户其历史行为记录判断是否对该用户产生此视频的推荐，如此也可以采用Fmeasure来衡量推荐系统的准确度。Fmeasure是准确率和召回率的加权调和平均，当Fmeasure较高时说明实验方法比较理想。其形式化定义如下：
Fmeasure=（1+α2）precision×recallα2×precision+recall（10）
其中：precision为准确率，recall为召回率；当α取1时即为最常见的F1measure，也是本文所采用的决策精度评价方法衡量标准。
3.3推荐算法参数优化
对于隐语义模型来说，选择正确的参数对推荐算法的性能影响很大，本节选取不同的K、λ值分别测试其对最终推荐结果的影响，结果如图1、图2所示。
从图2可以看出，对于隐语义模型当K值取110，λ值取0.01时分别使得相应VRFCL推荐算法的RMSE值取得最小，且F1measure值取得最大，即推荐效果较为理想，下节在比较不同推荐算法的性能优劣时即采用此设置。
3.4实验结果比较
为了准确衡量本文提出的VRFCL算法的性能， 本节选取TopHit、UserCF、UNCF[14]推荐算法做对比实验。利用RMSE和F1measure衡量上述算法在不同推荐比例percentage下的推荐效果，percentage值取区间[10%，90%]，步长为5，实验结果见图3和图4。
从图3可以看出，随着percentage取值的不同，UserCF、 UNCF、VRFCL算法的RMSE性能均呈现出不同程度的波动，总体来说VRFCL算法取得了较为理想的结果。考虑到RMSE对于topHit算法来说并不适用，故在图3中没有显示。这里的UserCF和UNCF算法是在3.1节的虚拟评分矩阵的基础之上构建起来的，相比较来说，由于VRFCL算法中提出了对网络视频进行隐式特征分类的概念，一方面考虑到了网络视频的多元性和高纬度特性，从而难以对网络视频进行显式类目划分的问题；另一方面，用户对网络视频的关注点也是很模糊且多变的，很难用显式的传统人工视频分类方法对用户兴趣进行建模。VRFCL算法中的隐语义模型很好地解决了上述两个问题，故而取得了不错的推荐性能。值得注意的是，所有这些算法能够正常运行的前提是2.1节在通过分析用户评论构建出的虚拟评分矩阵M。虚拟评分矩阵使得我们在已有的视频数据挖掘方法之外进一步利用评论信息发掘用户潜在兴趣和网络视频之间的关联关系成为可能，它是对现有网络视频推荐模型的一种重要补充。
结合图4可以看出，VRFCL算法在不同的percentage取值下仍然取得了较好的F1measure性能。其中UNCF算法由于其引入了不确定近邻的概念，一定程度上缓解了不同用户数据的差异性对评分结果的影响，但由于其需要预先设置包括调和参数等在内的多个参数，导致算法的灵活性不是太高，难以适应复杂环境的变化，推荐性能还有待提高。topHit算法实现起来最为简单直接，但由于没有顾及到每个用户的个性化需求，推荐效果最差。实验表明，当percentage取值在55%～65%时，各推荐算法取得的推荐性能普遍较为理想。
4结语
网络视频推荐系统由于其推荐项目的特殊性，使得传统的特征提取及用户兴趣建模方法难以应用到实际工作中来。为此本文从视频评论这一蕴含价值丰富的信息入手，通过对评论文本进行情感倾向分析判断用户对某一视频项目的喜欢程度，一定程度上弥补了网络视频显式评分数据稀疏性问题。另一方面，由于网络视频数目繁多，分类复杂，涉及到的内容主题多种多样，很难用传统的电影分类方法对网络视频进行归类推荐，故本文提出了隐语义模型，通过隐含特征（Latent Factor）发掘用户与视频之间的潜在关联关系，因此取得了良好的网络视频推荐效果。
由于实验数据集有限，缺乏有效参考，本文只能在2.1节构建的虚拟评分矩阵上比较各推荐算法的性能，虽然经实验证明，VRFCL算法已取得了不错的推荐效果，但如果能获取被推荐用户关于其网络视频观看记录、订阅频道号、显式评分矩阵等其他信息，相信经过特征提取和推荐模型的进一步融合，用户兴趣建模会更加精确，同时推荐性能会取得进一步提高。此外，网络视频的评论内容还有待深度挖掘，如通过提取关键字进而比较评论文本相似度来模拟对应网络视频相似度等，这些都是很有意思的研究方向。
参考文献：
[1]NIE B， ZHANG H， LIU Y. Social interaction based video recommendation： recommending YouTube videos to facebook users[C]// Proceedings of the 2014 IEEE Conference on Computer Communications Workshops. Piscataway： IEEE， 2014： 97-102.
[2]MEI T， YANG B， HUA X， et al.VideoReach： an online video recommendation system[C]// Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2007： 767-768.
[3]YOSHIDA T， IRIE G， ARAI H， et al.Towards semantic and affective contentbased video recommendation[C]// Proceedings of the 2013 IEEE International Conference on Multimedia and Expo Workshops. Piscataway： IEEE， 2013： 1-6.
[4]DEMOVIC L， FRITSCHER E， KRIZ J， et al.Movie recommendation based on graph traversal algorithms[C]// Proceedings of the 2013 24th International Workshop on Database and Expert Systems Applications. Piscataway： IEEE， 2013： 152-156.
[5]YANG X， YU J， IBRAHIM T， et al.Collaborative filtering recommendation models considering item attributes[J]. Journal of Computer Applications， 2013， 33（11）： 3062-3066.（杨兴耀， 于炯， 吐尔根・依布拉音，等. 考虑项目属性的协同过滤推荐模型[J]. 计算机应用， 2013， 33（11）： 3062-3066.）
[6]HA I， OH K J， HONG M D， et al.Social filtering using social relationship for movie recommendation[C]// Proceedings of the 4th International Conference on Computational Collective Intelligence， Technologies and Applications. Berlin： Springer， 2012： 395-404.
[7]HUANG C R， LEE L H. Contrastive approach towards text source classification based on TopBagofWord similarity[C]// Proceedings of the 22nd Pacific Asia Conference on Language， Information and Computation. Manila： PACLIC， 2008： 404-410.
[8]RATNAPARKHI A. A maximum entropy model for partofspeech tagging[C]// Proceedings of the 1996 Conference on Empirical Methods in Natural Language Processing. Philadelphia： EMNLP， 1996： 133-142.
[9]XUE G， DAI W， YANG Q， et al.Topicbridged PLSA for crossdomain text classification[C]// Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2008： 627-634.
[10]FOULDS J， BOYLES L， DUBOIS C， et al.Stochastic collapsed variational Bayesian inference for latent Dirichlet allocation[C]// Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2013： 446-454.
[11]JIANG Y， DUMONT D M， PAIVA K A， et al.A latent class model to identify city/town chronic disease patterns[J]. Preventive Medicine， 2015，73： 139-144.
[12]OCALLAGHAN D， HARRIGAN M， CARTHY J， et work analysis of recurring YouTube spam campaigns[C]// Proceedings of the International Conference on Weblogs and Social Media. Dublin： ICWSM， 2012：531-534.
[13]HYNDMAN R J， KOEHLER A B. Another look at measures of forecast accuracy[J]. International Journal of Forecasting， 2006， 22（4）： 679-688.
[14]HUANG C， YIN J，WANG J， et al.Uncertain neighbors’ collaborative filtering recommendation algorithm[J]. Chinese Journal of Computers， 2010， 33（8）： 1369-1377.（黄创光， 印鉴， 汪静， 等. 不确定近邻的协同过滤推荐算法 [J]. 计算机学报， 2010， 33（8）： 1369-1377.）