基于键鼠事件的疲劳感知
开篇：润墨网以专业的文秘视角，为您筛选了一篇基于键鼠事件的疲劳感知范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘要：长时间持续使用电脑会对人体造成健康危害，针对目前尚无非入侵式电脑使用疲劳度检测的有效方法的现状，提出了一种基于键盘和鼠标事件实时监测的非干扰式手部肌肉疲劳度评估方法。该方法经过按键动作匹配、数据去噪、特征向量提取、分类等处理，分析一段时间内两类按键的时延特性，实现对手部肌肉疲劳程度的评估和监测。利用社交网络，将检测的疲劳状态与好友进行分享，以好友劝导、健康激励的方式促使用户逐渐改变不健康的电脑使用习惯。该方法在15位用户中进行了为期2周的实验，结果验证了所提方法对疲劳度评估的有效性，以及在社交网络平台分享相关健康信息的可行性，并发现按键延迟与手部肌肉疲劳程度成负相关关系。
关键词： 疲劳评估； 键盘鼠标事件； 社交网络； 健康促进； 随机森林
中图分类号： TP391.7 文献标志码： A
0引言
使用电脑辅助完成日常工作或学习已经成为绝大部分人的首选，然而，长时间持续地电脑使用容易对人体健康带来负面影响，引起如视力减退、指/腕等部位疲劳酸痛麻木的生理健康问题和易怒及焦虑等心理健康问题[1-2]。
目前，针对坐姿状态下疲劳程度的检测存在如下几种方法：1）基于计算机视觉技术的检测，该方法捕获用户眼部动作，例如眼球滚动[3]、眨眼[4-5]等图像信息分析并识别疲劳状态，或利用特征融合技术分析用户的面部特征以检测疲劳状态[6-7]。此类方法主要用于检测汽车驾驶员疲劳状态（如打哈欠、打盹等），其不但要求用户保持相对固定的坐姿以确保系统能采集到有效的面部图像信息，而且也存在隐私保护方面的不足。2）基于定制装置的检测，例如通过对采集到的表面肌电信号（surfaceelectromyography，sEMG）进行傅里叶变换和小波变换提取特征信息进行肌肉疲劳测定[8]，或者利用数据挖掘的方法对sEMG进行分类实现肌肉疲劳度预测[9]，文献[10]还提到利用压力传感器座椅分析用户在坐姿状态下压力中心的变化进而判定疲劳程度，由于此类方法具有设备成本较高和检测过程具有侵入性等不足，因此多用于康复医学和运动力学领域。
上述两类方法由于各种限制均不适用于检测用户在电脑前的疲劳状态。相关医学研究表明，一次无意识肌肉抽搐延迟时间可以反映肌肉的疲劳程度，其会随着肌肉疲劳程度的改变而发生变化，而成年人一次无意识的肌肉抽搐所花费的时间和一次正常鼠标点击的延迟时间大致相似[11]。同时文献[12]提到，与用户键盘操作相关的参数（按键延迟、按键速率及输入错误率等）会随着肌肉的疲劳程度发生相应的变化，手指在经过力量活动而处于疲劳状态时，键盘按键延迟会减少约5% 于上述发现，本文提出通过监测用户对常规电脑外设——鼠标和键盘的操作，实现手部肌肉疲劳程度的评估和检测。为有效促进用户改变不健康的电脑使用习惯，检测到的疲劳状态信息通过广泛使用的社交网络平台（以人人网为例）进行分享。此外，从实验中发现按键延迟与手部肌肉疲劳程度成较强的负相关关系，即手指越疲劳按键延迟越短。该方法有如下两个优点：1）检测过程的非干预性，键盘和鼠标是常规的电脑操作设备，捕获其操作事件不会给用户的正常使用带来影响且在自然状态下进行；2）方法的低成本特性及应用可推广性，无需用户配置任何专用设备，也不需要开发专用平台系统，便可实现疲劳度的检测与分享。
1疲劳度评估方法
基于键盘鼠标事件的疲劳度监测方法通过分析鼠标及键盘按键延迟的变化，对用户的疲劳状态做出客观的评估。具体疲劳评估流程如图1所示。
1.1数据获取及预处理
鼠标键盘记录是疲劳评估的基础，其可表示为一个三元组：（按键时刻，键编码，动作）。其中：按键时刻代表动作执行时的系统时间，格式为“时：分：秒：毫秒”；鼠标的键编码分为“left”和“right”，键盘的键编码与系统的键盘编码直接对应；按键动作分为“按下”和“弹起”两种，本文不考虑鼠标移动和滚轮事件。由于按键操作存在随机性和偶然性，因此对少量记录进行分析并不能准确反映用户的疲劳程度。本文研究满足一定数量键盘鼠标记录集上的疲劳度评估，该记录集是一段时间内键盘鼠标操作事件的有序累积。
按键动作匹配完成按键操作记录（“按下”记录和“弹起”记录）的配对，包括鼠标按键动作匹配和键盘按键动作匹配。点击一次鼠标产生的两条记录总是时序上相邻的，因而容易匹配；但一次键盘按键动作产生的两条记录容易出现时序不相邻的情况，例如按键稍快时会出现前一个按键还未弹起而第二个按键已被按下等现象，此外，长时间按键（例如按组合键时）会导致多个“按下”动作而只有一个“弹起”动作的现象。为解决该问题，提出如下按键动作匹配算法。
3实验分析
3.1实验设置
实验选取15位实验者，在未告知实验目的的情况下获取了为期2周的键盘鼠标事件数据。实验对象的选择条件包括：1）对键盘鼠标有较高的使用频率；2）在整个实验过程中不更换数据采集设备（如键盘和鼠标）；3）为社交网络（如人人网）的注册会员并具有一定的社交关系。另外，为方便获取数据，选定的实验对象相互之间均具有人人网好友关系。为了验证疲劳评估方法的检测性能，要求实验对象对实验过程中产生的待评估向量进行标记：TE（“不疲劳”“轻度疲劳”“疲劳”），将原向量F拓展为F′（KM，KD，MM，MD，RR，TE）。标记原则如下：1）手指无异常感觉则标记为“不疲劳”；2）手指出现轻微酸痛或抖动则标记为“轻度疲劳”；3）手指出现明显酸痛、抖动、麻木，甚至痉挛则标记为“疲劳”。各实验对象数据收集情况如表1所示，各实验对象不同疲劳程度的数据量分布如图3所示（横轴为不同实验对象，纵轴为每个实验对象的实验数据中三种带有不同分类标记（“不疲劳”，“轻度疲劳”，“疲劳”）待评估向量的数目）。
3.2实验结果
对每一位实验对象随机抽取70%待评估向量作为训练样本，余下30%作为测试样本，疲劳度评估结果如图4所示（横轴为不同实验对象，纵轴为每个实验对象三种疲劳状态的评估准确率），从该实验结果可以看出，除实验对象3，9，13因数据量过少导致“疲劳”状态检评估准确率低于70%以外，其余实验对象所有状态的评估准确率都在70%以上。对照图3和图4不难发现，各实验对象的疲劳评估准确率受训练集大小影响，训练集越大则评估准确率相对偏高。
由上述实验结果可以看出，本文方法可以较为可靠地评估用户的疲劳度，同时疲劳度健康信息分享可在一定程度上帮助用户改变电脑操作习惯。
4结语
针对目前电脑使用日益普及，但缺乏有效的用户疲劳度检测方法的现状，本文提出了一种基于键盘鼠标事件检测的疲劳度监测方法，通过分析一段时间内鼠标键盘事件时延特性对用户的疲劳状态做出科学评估。比较而言，该方法有以下两个优点：1）检测过程的非干预性和检测结果的真实可靠性。评估方法以用户正常的键盘和鼠标操作为依据，疲劳评估过程在自然状态下进行，不会给用户的正常使用带来影响；2）评估方法的便捷性及应用可推广性，用户无需配置任何专用设备或平台即可实现疲劳度的监测与分享。实验结果表明，本文方法可有效评估用户使用电脑过程中的疲劳程度，并从中发现按键延迟与手部肌肉疲劳程度成负相关关系。本文也存在一些不足之处，例如数据采集过程中需要实验对象手动对产生的向量进行标记，因此会引入一定的人为因素，影响实验结果。后续工作将该方法做进一步优化，提高评估性能，同时研究健康信息分享对用户改变不健康的电脑使用习惯的真实影响。
参考文献：
[1]MINJ.Influencingfactorsofcomputersyndromeandrelevanthealtheducationstrategies[J].ChineseJournalofHealthEducation，2004，9（20）：853-854.
[2]ZHOUH.Experienceofchronicfatiguesyndrometreatmentofsofttissue[J].ChineseMedicineModernDistanceEducationofChina，2011，9（19）：107-108.
[3]CHENGW，LIAOH，PANM，etal.Afatiguedetectionsystemwitheyeglassesremoval[C]//Proceedingsofthe15thInternationalConferenceonAdvancedCommunicationTechnology.Piscataway，NJ：IEEEPress，2013：331-335.
[4]KURYLYAKY，LAMONACAF，MIRABELLIG.Detectionoftheeyeblinksforhumansfatiguemonitoring[C]//Proceedingsofthe2012IEEEInternationalSymposiumonMedicalMeasurementsandApplications.Piscataway，NJ：IEEEPress，2012：1-4.
[5]DIVJAKM，BISCHOFH.Eyeblinkbasedfatiguedetectionforpreventionofcomputervisionsyndrome[C]//Proceedingsofthe2009IAPRConferenceonMachineVisionApplications.Piscataway，NJ：IEEEPress，2009：350-353.
[6]CHENY，YUY，ZHANGL.Mentalfatiguerecognitionextensionmodelbasedonfacialvisualcues[J].ComputerScience，2013，40（2）：284-288.
[7]LUB，SUNYF，WANGL.Dynamicfacefatiguedetectionbasedonfeaturelevelfusion[C]//Proceedingsofthe2010InternationalConferenceonMultimediaCommunications.Piscataway，NJ：IEEEPress，2010：123-126.
[8]BAIF，LUBECKITM，CHEWCM，etal.NoveltimefrequencyapproachformusclefatiguedetectionbasedonsEMG[C]//Proceedingsofthe2012IEEEBiomedicalCircuitsandSystemsConference.Piscataway，NJ：IEEEPress，2012：364-367.
[9]ALMULLAM，SEPULVEDAF.PredictingthetimetolocalizedmusclefatigueusingANNandevolvedsEMGfeature[C]//Proceedingsofthe2010InternationalConferenceonAutonomousandIntelligentSystems.Piscataway，NJ：IEEEPress，2010：1-6.
[10]NAKANEH，TOYAMAJ，KUDOM.Fatiguedetectionusingapressuresensorchair[C]//Proceedingsofthe2011IEEEInternationalConferenceonGranularComputing.Piscataway，NJ：IEEEPress，2011：490-495.
[11]KOMANDURS，JOHNSONPW，STORCHRL.Relationbetweenmousebuttonclickdurationandmusclecontractiontime[C]//Proceedingsofthe2008AnnualInternationalConferenceoftheIEEEEngineeringinMedicineandBiologySociety.Piscataway，NJ：IEEEPress，2008：2299-2301.
[12]CHANGCHJ，JOHNSONPW，KATZJN，etal.Typingkeystrokedurationchangedaftersubmaximalisometricfingerexercises[J].EuropeanJournalofAppliedPhysiology，2009，105（1）：93-101.
[13]ZOUH.Studyonttestmethodtofindlinearsystematicerror[C]//Proceedingsofthe2011InternationalConferenceonMechatronicScience，ElectricEngineeringandComputer.Piscataway，NJ：IEEEPress，2011：2511-2514.
[14]WANGW.ttest—thesuperlativetesttodiscardabnormalvalueswith unknown[J].JournalofSichuanUniversityofScienceandTechnology，2000，19（3）：84-86.（王文周.未知 ，t检验法剔除异常值最好[J].四川工业学院学报，2000，19（3）：84-86.）
[15]LEOB.Randomforests[J].MachineLearning，2001，45（1）：5-32.
[16]KULKARNIV，SINHAK.Pruningofrandomforestclassifiers：asurveyandfuturedirections[C]//Proceedingsofthe2012InternationalConferenceonDataScience&Engineering.Piscataway，NJ：IEEEPress，2012：64-68.
[17]QUINLANJR.Inductionofdecisiontrees[J].MachineLearning，1986，1（1）：81-106.
[18]CONSOLVOS，EVERITTK，SMITHI，etal.Designrequirementsfortechnologiesthatencouragephysicalactivity[C]//ProceedingsoftheSIGCHIConferenceonHumanFactorsinComputingSystems.NewYork：ACMPress，2006：457-466.
[19]THOMPSOND，THOMASJ，CONEJ，etal.AnalysisoftheTony！variablegeometryVDTkeyboard[C]//Proceedingsofthe1990HumanFactorsandErgonomicsSocietyAnnualMeeting.SantaMonica：HumanFactorsSociety，1990：365-369.