运维系统告警数据的分布式存储方法
开篇：润墨网以专业的文秘视角，为您筛选了一篇运维系统告警数据的分布式存储方法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
[摘 要]随着平安城市建设的蓬勃发展，运维已经成为了它的一个不可分割的部分。运维系统主要对基础资料进行管理，接受告警数据，处理告警数据。然而一个城市的设备之多，举不胜举，产生的告警量更多的惊人。当前，运维告警每天接受到的告警和实时监控数据多达5万条，总数据更是多达4000万。在这么多惊人的数据中，如果实现高效的存储？如果快速的查询？如果迅速展现客户需要的数据？
[关键词]分布式存储 大数据 平安城市 智能分析 告警 运维 集群
中图分类号：TP393 文献标识码：A 文章编号：1009-914X（2016）04-0308-01
一、 运维系统总体概述
运维系统作为平安城市的重要一个环节，主要就是对平安城市相关设备的监控，实现对摄像头的上下线、高度、暗度、清晰度、雪花、色偏、条纹、冻结、抖动、遮挡的监控；实现对机房设备（UPS，空调，门禁，烟感，测漏，温感）的实时监控和告警的接受及处理；实现对服务器等设备的实时监控和智能分析。然而系统每天接受告警和实时数据多达5万条，可是高效的存储和读取数据已经成为传统数据库的难点。所以本系统采用分布式存储方法，实现数据的高效插入和读取，大大优化了用户的体验效果。
二、 分布式存储说明
传统的数据存储主要采用集中存储，把所有的数据存储在一个存储服务器中，然而大量数据的集中，导致了系统性能的下降，可靠性和安全性也成为了焦点。
分布式存储，就是通过集群，提高系统的可靠性、可用性和存取效率。简单的说，就是将大量数据分别存储在不同的设备上。分布式存储采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。如图1
三、 实现过程
运维系统监控数据主要分两种，设备告警数据和设备实时数据。实时数据主要是方便查看设备的当前状态，并可以通过告警配置，系统经过智能分析判断设备是否出现故障，如果出现故障则产生告警；告警数据则是由设备自动推送告警，并在运维系统中加以处理。具体实现如下：
一、集群搭建，服务添加
建立由几台服务器并行的计算集群环境，并配置计算节点和数据节点服务器。配置其中1到2台服务器为管理节点和计算节点，其他服务器为数据节点。安装与集群环境版本匹配的数据访问中间件，开发计算器安装数据访问中间件的客户端，可以做可视化的数据操作。
二、设计运维告警数据存储结构，并建立索引
1、根据告警的处理和设备性质，告警设置的字段主要有：“报警名称”、“报警级别”、“报警来源”、“报警种类”、“报警时间”、“设备名称”、“设备类型”、“处理状态”、“处理时间”等存储字段。
2、索引的建立。“报警级别”、“报警种类”、“设备名称”、“设备类型”、“处理状态”，这四个字段为最常用查询字段，所以由这4个字段建立分布式可变索引。可变索引可以随着数据插入自动更新索引数据，数据通过LSM树的数据结构存储在分布式数据库。结构例如：1001+1001002+“服务器001”。
由于分布式存储数据对设备名称的模糊查询效率较低，于是针对设备名称建立的分布式索引。将设备名称的分布式索引存储在集群中的分布式文件系统中。例如：设备名称：服务器001，在分布式索引中建立的索引是：“服、服务、服务器、服务器0、服务器00、服务器001、务、务器、务器0、务器00、务器001、器、器0、器00、器001、0、00、001、01 1 ” 。
3、分布式索引。生产环境下，由多台服务器组成的分布式集群使用的是分布式文件系统。如果将索引文件建立在一台服务器上，则不能体现设备名称的分布式处理。为了保证整个查询过程的高效性，同样需要把索引文件分布式的存储在整个集群中。
用户在输入一个字符之后，即可通过分布式索引文件的查询返回包含该字符的10个设备名称。返回设备名称之后，系统根据最相似的设备名称进行全字段匹配查询，从而提高整体的查询速度。
三、设计运维系统实时监控数据存储结构，并建立索引
1、根据实时监控的需要，实时数据字段主要有：“机房ID”、“设备ID”、“监控时间”以及各种设备参数字段。
2、索引的建立。由于实时监控查询相对简单，直接建立“机房ID”、“设备ID”索引就可以满足用户的需求了，在这里面就不在多做阐述。
四、接入各设备信息数据
经过数据合法性和业务处理，数据通过中间件入库，自动更新索引表，同时更新设备名称的分布式索引。
五、数据的读取和业务处理
程序查询条件包含对索引的字段进行查询，可在100毫秒之内返回相应数据。如图2
参考文献
[1] 《大规模分布式存储系统：原理解析与架构实战》 杨传辉.
[2] 《大型分布式网站架构设计与实践》 陈康贤.
[3] 《云计算与分布式系统：从并行处理到物联网》 [美] Kai Hwang，[美] Geoffrey C.Fox，[美] Jack J.Dongarra.
[4] 《大型网站系统与Java中间件实践》曾宪杰.