首页 > 范文大全 > 正文

建立信息管理框架 应对大数据挑战

开篇:润墨网以专业的文秘视角,为您筛选了一篇建立信息管理框架 应对大数据挑战范文,如需获取更多写作素材,在线客服老师一对一协助。欢迎您的阅读与分享!

基于当前数据爆发式的增长态势,关于大数据现象的讨论甚嚣尘上。真实的情况究竟如何?我们或许能从一些分析师对2012年的预测和优先任务的分析中得到一些答案。

分析师的观点主要包括以下几个方面:2012年CIO面临的首要任务就是“分析和商务智能”;大数据机会将在2012年变成现实;大数据已经出现;基于Hadoop的大数据解决方案将与传统企业数据仓库产品相交汇;2012年,大数据意味着应用。

然而,实际上每一代存储管理员都在应对与日俱增的数据,处理比前一代更多的数据。在1985年,用于卷、数据集和文件大小的标准或默认衡量单位是MB和KB;在10年时间内变成了GB和MB;到2005年,它发展到GB和TB;现在,我们通常将TB作为标准衡量单位。

数据管理两大议题

惠普亚太及日本地区存储原理技术专家 Paul Haverfield认为,无论是哪个阶段,数据管理一直面临两方面的议题:第一,数据管理生命周期的问题;第二,每一代存储管理员所面临的问题或挑战。

首先,数据管理生命周期在大多数情况下要经历这样的过程:创建、访问、处理、保护、删除、创建。绝大多数符合数据增长的问题出现在“删除”环节,Paul Haverfield说:“一般情况下我们无法删除足够的数据,难以确认哪些数据应该被删除,为了以防万一而囤积数据。”

其次,每一代存储管理员都面临着以下五大问题或挑战:第一,如何以较高的成本效益来访问数据;第二,如何有效组织、搜索和处理数据;第三,如何备份/保护数据;第四,希望以何种方式删除哪些数据;第五,如何适应数据中心里的电源与空间限制。

绝大多数企业机构面临的头号问题就是上述挑战中的第四点,很少有企业出台规定数据删除的数据管理政策。数据因此不断积累,进而带来更多的管理问题。

数据环境更复杂

随着数据的增长,数据处理流程发生了一些“微调”或演进。企业所面临的数据环境与五年前相比确实发生了一些改变。

现在,除了拥有与日俱增的数据量,还有正在加速出现的更多的数据种类。这两个因素叠加在一起,为数据管理生命周期带来了新的复杂性。数据生成的来源更多――社交媒体、视频、音频、搜索引擎查询、位置感应等,各种数据到达的速度也更加快速。这些都增加了复杂性。

在数据仓库全盛的时期,系统最好的定位是“描述分析”――“是什么”,它们为企业提供洞察业务的“后视镜”。现在的情况是,数据分析已经从描述分析“是什么”转向分析预测“那又会怎样”、“现在怎样”。现代分析系统是企业未来洞察力的所在,它们帮助企业在预测未来产品、趋势和潜在客户方面获得竞争优势。

创建合理的信息管理框架

显然,企业和机构不可能永远持续地保存一切数据。存储技术能够支持以更高的效率更长久地保存更多东西,但这仅是数据管理的一个方面。

Paul Haverfield认为,组织机构应该创建一个有效的数据与信息管理框架。在这个过程中,核心的问题就是了解自己访问老旧数据的需求:是否愿意保留所有的数据,为什么?它会重复使用吗,多久一次?必须使用所有数据吗,或只是样本就足够了?希望如何利用它?是否有监管保留的考虑因素?是否会被更新?近期需要用到还是立即会用到?

一旦了解了数据的访问需求,接下来要考虑的就是“应该把它储存在哪里”的问题。需要考虑的有以下几个方面的问题:

第一,硬件与软件的获取成本,电力和冷却成本;第二,管理数据所需的技术、人员和时间;第三,现场还是异地,主要和备份?多少份?第四,在私有云还是公有云中?第五,在线、近线,还是归档?

可以将其归纳为:一个存储一切的地方,其中一切都各归其位。Paul Haverfield表示,当组织机构制定好这两个领域的信息管理框架时,就为应对当前的大数据爆发增长做好了准备,并将开启探索预测分析的旅程。