数据管理范文精选

摘要：21世纪是数据信息大发展的时代，2011年5月，在“云计划相遇大数据”为主题的EMC World 2011会议中，EMC抛出了大数据的概念。本文从详细介绍大数据入手，分析了政府数据管理中不利于大数据应用的问题，并提出了一定的解决办法，以期推进我国政府管理的大数据建设。

关键词：政府数据管理 大数据 信息化建设

1.大数据的概念

目前，国内外没有统一的大数据概念，一般是指大小已经超出了传统意义，一般的软件工具难以捕捉、存储、管理和分析的数据。“大数据”之“大”并不仅仅在于其“容量之大”，而是指在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。大数据通过对海量数据进行整理、分析，获得有巨大价值的产品，或深刻的洞见，最终形成变革之力。

大数据拥有四大特征：

第一，大量（Volume）。2012年、2013年产生数据量总和是人类有历史以来到2011年产生数据量的总和，两年的数据量等于一万年的总和，这个数据规模为1.8ZB。这表明互联网时代的社交网络、电子商务与移动通信把人类带入了一个以“PB”乃至“EB”为单位的新时代。

第二，多样（Variety）。大数据有网络数据、企事业单位数据、政府数据，有网络数据自媒体数据（比如社交网络、博客、微博等），有日志数据（比如搜索引擎，大家上网等等都会留下很多足迹），还有富媒体数据（视频、音频等等），相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，这些多类型的数据对数据的处理能力提出了更高要求。

第三，价值（Value）。被称为“大数据时代预言家”的牛津大学网络学院互联网研究所治理与管理专业教授维克托・迈尔-舍恩伯格说：“大数据的核心就是预测，不是要教机器像人一样思考，而是要把数学计算运用到海量数据上，来预测事情发生的可能性”。预测，作为大数据的核心力量，早已被多次证明。2009年，Google曾用大数据分析5000万条美国人频繁检索的词汇，将之和美国疾病中心在2003-2008年间季节性流感传播时期的数据进行比较，准确预测当年的流感趋势，甚至可以具体到特定的地区和州。

1云数据管理系统中的技术形态

通过研究传统的关系数据库得知，以往的数据管理过程存在一定的局限性，往往受制于较弱的扩展性方面。相对而言，云数据管理系统中的技术形态较为高级，因其已经具备了利用云计算平台来处理海量数据以及数据信息检索的能力。从技术应用的角度来看，云数据管理系统的运作模式较以往有了较大的改进，不仅有效降低了维护系统的资金与人力的成本，而且，能够凭借较为先进的技术来增强系统本身的可扩展行以及容错能力，正是由于云数据管理系统的职能作用较为突显，该系统备受大型网站运营管理的青睐，其应用极为广泛[4]。事实上，云计算是一种基于互联网平台的多元化管理模式，为诸多领域提供信息传递、储存等服务。在当今大数据时代背景下，云计算服务项目得到了更为广阔的发展空间，为现代社会生产建设助力，云数据管理系统中的技术形态，云计算服务的实践价值较为突出，在诸多领域都有所涉及。

2阐述有关云数据管理系统中的查询技术研究内容

2.1有关云数据查询处理的目标及其运作特征的研究内容

由于信息时代的到来，大多数人们在生活和工作中都离不开各类电子产品的应用。从现实环境来看，在资源的利用与存储方面，云数据中心及其服务能够满足互联网平台上的用户服务需求。从具体的实践领域来看，现代企业或其它社会组织机构通过各种途径来获取大量的数据信息资源，并利用这些所能查询得到的信息资源来强化系统管理。在信息技术快速发展的当今社会，在很多领域所构建的数据库的规模以及范围都在不断地扩容，但即便是相关技术在不断更新当中，却也无法运用传统技术来满足极快速增长的数据信息量，这便是大型数据集过程的特点所致。从具体来看，云数据查询处理技术具有可扩展行、可用性等目标特点，而且，查询处理技术在异构环境中的运行能力较强，具有较为丰富灵活的用户接口，以便于满足用户的差别化数据查询以及存储的需求。

2.2云数据管理系统中的查询技术的种类及其操作模式

在以往，大多数人会利用移动硬盘、U盘等设备来进行数据存储，将海量数据进行归档处理，但在有了云数据管理系统以后，便可以凭借云计算及其相关技术来实现数据的储存及查询调用等目标。通过研究云数据管理系统中关键技术的特征及系统的基本框架可知，云数据信息在接受到用户指令进行数据查询的过程中，需要通过诸多关键技术的集合作用来解决实际问题，尤其是需要索引管理、查询处理及优化的过程来辅以操作，才能达到精准查询云数据的目标。从总体情况来看，技术的应用不仅要考虑其可行性和有效性，还要考虑技术应用的经济性，如若技术应用的成本过高，则要考虑该方案的优化管理。对于商用海量数据存储要求来讲，信息记录及存储要进行合理的规划，以便于提升调用系统数据的效率。通常情况下，云数据管理系统中的查询技术主要有两种常见的模式，即BigTable技术与Dynamo技术。二者各具优势，前者BigTable技术；后者Dynamo技术采用了DHT（内网用分布式哈希表）作为技术的基本存储架构，其优势在于它的自我管理能力较强，从而避免了很多数据处理过程中可能发生的单点故障[5]。

3结束语

大数据的爆炸式增长将继续引发一系列普遍和持久的问题，而企业正在寻求如何依据不断变化的监管要求以最佳方式保留、访问、发现和最终删除内容。大数据正在困扰着从IT到法律部门等各个利益相关方。

据IDC统计，2010年，全球共生成了超过1泽字节（ZB）或100万拍字节（PB）的数据。2014年，预计该数字将增长至每年72ZB，其中一部分来自机器生成的数据。随着程序化贸易与金融交易系统以及智能电表和其它智能仪表的使用量不断增加，加之智能手机和平板电脑生成的大量呼叫详细记录（CDR），机器生成的数据正呈大幅增长态势。

与此同时，非结构化数据（如图像、音视频文件等）和半结构化数据（如电子邮件、日志等）的日益增长进一步增加了管理的复杂性，尤其是在确定最高效和最可靠的采集、保护、组织、访问、保管和防御性删除所有这些重要信息的方法之时。随着越来越多的企业被要求保管来自电子邮件、文档、富媒体文件等各种来源的数据，保管和保留数据的需求正变得日益复杂。

跨越大数据备份与归档断层

对于很多企业而言，备份和归档功能是在一个信息管理总战略中分别加以部署和管理的“孤岛”。鉴于很多原因，这样做并不明智。多个互不相干的硬件和软件产品通常负责管理这些数据孤岛，从而产生了必须加以保护和保管的重复的信息副本。除此之外，要求搜索和保管数据的法规压力通常也会催生更多的孤岛。最糟糕的情况是：无限延长信息资产的保留期，因为人们不能充分了解企业正在保存什么。

因此，大数据对话中的这两个要素之间产生了一个断层。Gartner指出，备份可以补充归档，反之亦然；但传统上，备份管理员和信息架构师没有共同语言，而且大多数工具和技术也只是为了满足这两种需求之一。

虽然备份和归档的目的不同，但它们的功能却类似：它们都创建原始数据的副本，用于恢复或保管等目的。鉴于此，Gartner等公司预测，能够整体地看待备份和归档功能将有助于大幅降低成本和提升风险管理水平。随着企业开始寻求可减少备份和归档副本并协调两者数据访问策略的解决方案，备份与归档融合这一概念正在兴起。

结成数据融合统一战线

因特网和万维网对信息存取方式进行了革命。人们越来越依靠万维网来获取或信息、下载音乐和电影、与朋友互动。现在用户在从个人计算机到智能手机及诸如YouTube和Picasa这样的万维网网站在内的多个平台上储存信息，而信息以及处理这些信息的工具绝大部分都存在于网络上，其结果是数据管理的概念、方法及技术不断地关注分布式业务。本书解释了作为数据管理万维网标准的可扩展置标语言（XML）的基础，并且聚焦数据分布。内容涉及了万维网上分布式数据管理的许多方面，例如描述逻辑，它已经出现在当今的数据集成应用中，并且预示了未来的语义万维网。作者还介绍了用来操控在万维网上搜集的数量前所未有的数据的工具。书中的好几个以“投入实际应用”为标题的章节详尽地描述了这些技术的实际应用。作者在概念与实际之间进行了平衡。

本书共有20章，分成3个部分。第1部分 万维网数据建模，含第1-6章：1.数据模型；2. XPath和XQuery；3.类型；4. XML查询评估；5.投入实际应用：利用EXist管理XML数据库；6.投入实际应用：利用SAX评估树模型。第2部分万维网数据语义学与集成，含第7-12章：7.本体论、RDF以及OWL语言；8.借助本体论查询数据；9.数据集成；10.投入实际应用：使用XSLT的包装及数据析取；11.投入实际应用：实践中的本体论；12.投入实际应用：Mashups与YAHOO！Pipes和 XProc。第3部分 构建万维网规模的应用，含第13-20章：13.万维网搜索；14.分布式系统介绍；15.分布式存取结构；16.利用MapReduce和PiG的分布式计算；17.投入实际应用：使用Lucene的全文本索引；18.投入实际应用：推荐方法论；19.投入实际应用：使用HADOOP管理大型数据；20.投入实际应用：CouchDB，一种JSON半结构数据库。

本书第一作者是法国国立计算机及自动化研究所（INRIA）Saclay研究中心和卡尚高等师范学校的研究员，教科书《数据库基础》的作者；第二作者也是法国INRIA Saclay研究中心的研究员，担任由法国INRIA和法国巴黎第十一大学联合组成的LEO团队的科学领导。

本书可用作万维网专业人员的全新的全球信息系统入门书籍和硕士水平课程教科书。

IDC近日了《2015年亚太地区下一代数据管理调查》报告。这项调查由Commvault公司赞助，亚太地区多个垂直行业的数百名客户参与了本次调查。此次调查得出的一个核心结论是：企业需要一个更加集中化的数据管理策略。

数据具有价值，数据是企业的重要战略资产。越来越多的企业都认同这样的观点。IDC的调查数据显示：74%的企业认为，数据对于企业来说具有战略意义，企业可以充分利用数据做出更优的决策；只有5%的企业表示，数据对它们来说不具有战略意义。

成为数据驱动型企业

既然数据对企业的业务发展如此重要，那么企业正确使用了数据，并使其价值最大化了吗？从用户的反馈情况看，由于IT预算、技术和解决方案、管理等方面的原因，企业在数据的处理、保护和使用方面还存在诸多不足之处。不过，可以肯定的一点是，成为数据驱动型的企业可以增强企业自身的竞争力。

IDC大数据、分析、企业应用及社交高级项目经理Daniel-Zoe Jimenez表示：“在第三平台时代，成为数据驱动型企业已不再仅是一个选择，而是必须要做的事。采用数据驱动型方法做决策不仅能够提高结果的准确度，而且还能确保结果被诠释和反馈至企业的一致性。这种数据存储、管理和分析方法的转变要求企业在管理它们的数据资产时，从部门（或信息孤岛）一级转向采用综合的数据驱动型的解决方案。”

IDC的调查数据显示，企业成为数据驱动型企业主要面临以下两大障碍：第一，企业目前采集和拥有的数据量比以往任何时候都多，因此在数据的存储、管理和分析方面面临巨大的压力；第二，数据不是集中存储在企业本地的数据中心，而是分散在各地，包括第三方的数据中心或高度虚拟化的环境中，数据的类型、格式多样化，从而加大了处理和分析的难度。40%的亚太地区的受访企业表示，它们的信息管理策略，包括数据备份和恢复、数据保护和分析，目前主要由部门一级负责执行，从而抑制了企业抓住新机遇和规避风险的能力。

IDC的调查数据显示，在数据管理方面，中国企业面临的最大挑战有二：一是预算的压力，二是数据孤岛。中国企业迫切希望更高效地获取信息，并改善数据管理。而亚太地区的大多数企业并不认为预算是最大的问题，数据的指数级增长和复杂度高才是它们最关注的问题。不管基于何种考虑，企业必须在改善数据管理方面有所行动。

破除信息孤岛

大数据时代来临。继物联网、云计算之后，“大数据”已迅速成为信息化技术发展的主流，各行业对大数据技术的应用也渐呈白热化状态。如何更方便地管理大数据，如何更快速地将大数据技术应用到企业业务中，如何更有效地实现企业大数据的价值，成为了各大企业争相竞逐的热点。

赛思信安凭借在海量数据技术领域的多年积累，推出了Scistor dataFusion（赛思大数据管理平台），可满足各类企业级用户大数据应用中的如下需求：对结构化数据、半结构化数据、非结构化数据进行快速整合和统一管理，支撑PB级数据存储管理；对海量数据进行多语义高速检索；对文本数据和结构化数据进行统一检索和统计分析；对Hadoop平台和传统关系型数据库中的数据进行关联分析；实现操作可视化、数据可视化；构建跨地域多数据中心，实现多数据中心的统一管理和访问。

Scistor dataFusion是一个基于分布式框架，采用并行处理技术，对外提供大容量数据存储、多源数据整合、数据即时检索、数据离线分析、海量小文件管理、内存分析的大数据管理平台，具有高性能、高可靠性、高性价比等特性，适合各类企业级用户根据自身业务模式构建高可用的大数据一体化管理平台，轻松驾驭大数据。

强大的数据管理能力

Scistor dataFusion具有以下特点：它支持在线扩展/缩减节点，支持异构多源数据PB级存储；集群有效整合内存计算框架，实现毫秒级响应，集群每秒可处理百GB数据，加载能力可达千万条/秒；支持数据多副本，副本数量可灵活设定，支持所有节点集群化；可提供类SQL和MR分析接口，提供多格式文档、多语言等强大全文检索能力；无缝整合现有关系型数据库，数据分析（图计算、R语言等）和BI工具。

Scistor dataFusion支持跨数据中心部署和应用，提供国家级数据中心解决方案，且单集群节点数达上千台；支持图形化安装配置部署，提供集群监控报警功能。

创新的架构

Scistor dataFusion采用了创新的架构。

在数据增长的早期就减少数据的存储量，同时利用先进的技术提高资源利用率，是企业进行数据管理之上策。

美国“次贷危机”给全球金融带来的影响正愈演愈烈，也影响着中国各行业的经济秩序。面对此次的国际金融危机，中国IT产业的发展也面临着巨大挑战。从企业IT市场来看，受经济危机的影响，中国经济发展放缓使得市场需求开始减速，这在IT企业表现尤其明显。IT企业除了面临经济寒冬的窘境外，还有―个迫在眉睫的问题需要解决，就是如何跟上数据增长的速度。

而从数据本身而言，企业需要考虑两个问题，一是数据量的管理，还有就是数据资源的利用。数据量的规模不仅考量着企业自身的IT环境，跟企业的业务运营也是息息相关；而数据资源的利用更多的则反映出企业如何切实实践“花小钱办大事”的原则。尤其是在目前全球经济普遍不景气的态势下，如何以有限的资金来实现数据量的管理和数据资源的充分利用，是决定企业能够度过经济寒冬的重要因素。

数据管理的病根

实际上，从数据量的管理来看，往往企业面临的很多问题都是由数据快速增长而衍生的。未知数据的持续增长，意味着你的一切都会受其影响，包括你的文件系统、磁盘系统、网络、保护计划、进程甚至是你的生活都不例外。对此，我们只有四处购买更多容量以尽量满足这个永无止境的增长，但往往徒劳无功。

数据增长是自然产生的(世界上新数据一直在不断生成)，但大部分数据是由科学研究产生的。如数据扩展、副本、副本的副本、备份副本的副本、备份副本的副本的副本等等，这些不只是容量问题，而是和科学一样复杂的问题。

正如ESG的创始人兼首席分析师所说，数据在处理的过程中，就好像细胞的有机分裂一样，在不停地裂变。如，科学家利用细胞副本进行多种实验来观察会发生什么，而IT人员需要利用副本进行测试、填充数据库、创建备份副本和灾难恢复副本、发送副本给其他用户等等。区别在于，科学家们预先就知道他们需要多少副本。因此，他们是有规划的。他们无需将其迁移到一个新的皮氏培养皿中。而且实验完成后，他们可扔掉副本，不用任其一直复制下去。而在IT行业中，企业很少清空皮氏培养皿。相反，在不断创建新的副本的副本。IT进程很少有科学实验室里的那种预先规划，这种由于副本保留导致的数据增长，很大程度上，很多数据是毫无用处的。而且，企业绝大部分的问题都是由此而造成。而解决此问题的唯一办法，就只是从供应商手中购买新一代更大的皮氏培养皿来应对。

如何掐断数据增长的源头

今天的南存辉（浙江省工商联主席，正泰集团董事长）可以在任何一个有网络的地方，用手机查看旗下十几家公司中任何一家公司正发生的事或销售情况：在刚过去的一天，正泰把产品卖给谁了，他们的客户在哪里？而此前要获取终端信息，则须通过秘书层层下达指令，再层层汇报，等他看到时，都已经是几天或一周之后的事。

如此敏捷的信息传递是一名叫孙钦辉的台湾人帮南存辉解决的，孙钦辉是正泰集团的首席数据官（CDO），也是中国首位民营企业的CDO。

追随“偶像”去创业

孙钦辉，台湾高雄人，从小去了美国，在美有30多年生活学习工作经历，他所学的专业为金融会计，在硅谷20多年，一直从事金融分析、财务、业务、市场分析，先后在ebay、PayPal等公司就职，离开美国前为BitTorrent公司的副总裁，在他的团队中有数据科学家、大数据分析师、数据工程师、网络架构师、互联网业务设计师等专业人士。

日前，记者在杭州滨江正泰集团太阳能园区采到孙钦辉时，他笑着自称：“是南董的头号粉丝”，那灰白头发下的笑容，透露出技术专业人士特有的爽朗和率真。

孙钦辉是南存辉去美国时遇到的，两人经过一番长聊，让孙钦辉最终决定到大陆来“创业”。2014年4月，他到杭州，正泰集团给了他两个职务，一是正泰集团大数据部总经理，另一个是创建大数据孵化公司，今后这公司将对外开展大数据业务，如提供大数据业务的咨询服务或实施，也可以提供软件产品。

刚到杭州，孙钦辉在公司附近的一家商务酒店住了很长时间，“既然来做事，就不能讲究那么多了”，不仅如此，当时下国内很多家长把孩子送到国外读书时，他却将他美国籍的孩子、家属都接到杭州来，“家人还是在一起比较好，”他这样说道，同时也拉开他驻扎杭州的创业架势。”

对于创业的初衷，孙钦辉几次跟记者说，他非常钦佩南存辉董事长：他的创业经历，以及他对企业发展或社会环境变化时的应对和对时机的把握。在美国时，孙钦辉家庭和睦幸福，工作稳定，收入不错，生活中也不缺什么，但是，他还想着要做点什么，他认为自己一直以来从事的数据分析，有着二十多年的经验沉淀，还拥有迄今为止可谓先进的大数据分析技术，面对中国市场的崛起和创业环境，他觉得这里有他发挥的地方。

信息化程度越高，可能遭遇的的灾难越大，平时无纸化办公，一旦灾难降临，你将什么也干不了，数据管理、存储、备份成为你的可选方案。

医院是一个24小时不间断，365天不休息的特殊行业，每天、每时都有大量的数据产生，每一个数据无论对于医院还是患者都是至关重要的。

云南省红会医院（第二人民医院）创建于1928年，目前已成为一所设备先进、科室齐全的省级综合医院，该院拥有HIS（医院信息管理系统）系统，2台康柏服务器和康柏磁盘柜组成的集群，1台戴尔的服务器作为备份机。目前数据量已经达到20.5G，日递增数据量100M的速度让医院不堪重负，特别是x光片、ct和mr等大容量的数字图像，造成了信息量的急剧膨胀，不仅如此，同时还要承受数据损坏、丢失、恢复带来的巨额损失几十万元。

电子病历的出现，使得医生给病人看病变得无限方便和快捷，但同时也给医院带来了无穷无尽的数据，数据管理、存储自然成了医院一大难题。在美国，根据HIPAA等法规的规定，医院必须完整地永久保存病人的医疗记录。有增无减的数据量带动了了医疗行业对存储的需求。

有强大的需求，自然蕴涵着无限的商计。据IDC调查，未来医疗行业将成为全球存储增长最快的垂直市场，并将医疗行业评为2007年十大最具潜力存储市场。

据了解，医疗行业的信息化建设已经形成了HIS（医院信息管理系统）、LIS（实验室信息管理系统）以及PACS（医学影像系统）等众多内容丰富、功能强大的应用系统。随着这些系统的运行时间逐渐延长，功能逐步增强，医院数据的价值越来越高，系统一旦停机造成的损失也越来越大。可是医院对数据备份的很多知识并不了解，虽然大多医院针对数据库的使用都做了备份，但是可以做到数据库实时备份的很少。

在2007年4月份举行第二届全国医卫行业信息技术应用高层研讨会上，沈阳市的一家医院信息主任讲，虽然他们医院的数据备份使用磁带机的，但是他们医院的数据损坏给医院造成的直接损失也超过了30万元，而且磁带机备份对于数据恢复、数据查找非常的不方便。

某医院的一位信息主任，非常感慨地说：“我们一直以为上了双机热备，数据有安全了，现在才知道还远远不够，数据拷贝和数据备份有着很大的区别！”

1、HLR用户数据查询流程

HLR用户数据查询流程如图1所示。图1HLR用户数据查询流程（1）用户数据管理子系统的DPUPGW（1）用户数据管理子系统的DPUPGW发送查询指令至DSG，DSG（DataServiceGateway）根据DCI（DSCallInterface）消息中的路由键信息选择对应的DRUCluster，再根据负载均衡选择一个DRU（DataRoutingUnit）节点，然后发送DCI消息给该节点。（2）DRU节点根据DCI消息中的路由键信息查找对应的DSUCluster，分析后得出消息的操作类型为数据查询，根据负载均衡算法把消息发送到DSUCluster中的一个节点。（3）DSU（DataServiceUnit）节点查询本节点数据并组装响应消息，发送响应消息给DRU节点。（4）DRU节点返回操作结果给DSG。

2、HLR用户数据修改流程

HLR用户数据修改流程如图2所示。（1）DSG根据DCI消息中的路由键信息选择对应的DRUCluster，再根据负载均衡选择一个DRU节点，然后发送DCI消息给该节点。（2）DRU节点根据DCI消息中的路由键信息查找对应的DSUCluster，分析后得出消息的操作类型为数据修改，把消息发送到DSUCluster中的Master节点。（3）DSUMaster节点修改本节点数据成功后，发送复制消息给同一个Cluster中Slave节点，并等待其响应消息。（4）DSUSlave节点收到复制消息，修改本节点数据成功后，发送响应消息给Master节点。（5）DSUMaster节点发送响应消息给DRU节点。（6）DRU返回操作结果给DSG。

3、HLR用户数据开户流程

HLR用户数据开户流程如图3所示。（1）DSG根据DCI消息中的路由键信息选择对应的DRUCluster，再根据负载均衡选择一个DRU节点，然后发送DCI消息给该节点。（2）DRU节点根据DCI消息中的路由键信息查找对应的DSUCluster，分析后得出消息的操作类型为数据开户，把消息发送到DSUCluster中的Master节点。（3）DSUMaster节点发送路由更新消息给DRUMaster节点。（4）DRUMaster节点修改本节点数据成功后，发送复制消息给同一个Cluster中Slave节点，并等待其响应消息。（5）DRUSlave节点收到复制消息，修改本节点数据成功后，发送响应消息给Master节点。（6）DRU返回操作结果给DSUMaster节点。（7）DSUMaster节点修改本节点数据成功后，发送复制消息给同一个Cluster中Slave节点，并等待其响应消息。（8）DSUSlave节点收到复制消息，修改本节点数据成功后，发送响应消息给Master节点。（9）DSUMaster节点发送响应消息给DRU节点。（10）DRU返回操作结果给DSG。

4、结束语

HLR最重要的功能就是用户数据的存储管理，掌握营帐指令的执行流程及用户数据管理流程，能够及时完成用户数据相关问题的分析处理，加快问题处理速度，保证用户业务的正常开通使用。