大数据时代数据仓库的技术跟进

开篇：润墨网以专业的文秘视角，为您筛选了一篇大数据时代数据仓库的技术跟进范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

数据仓库（Data Warehouse，可简写为DW或DWH）是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。

在大数据（Big Data）时代，随着技术的发展，数据仓库已包含提取、清洗、集成数据并将数据交付给决策者的完整生态系统，包括提取-转换-加载 （ETL） 和商业智能 （BI） 功能。数据仓库在捕获所有形式的企业数据，以及在其后准备这些数据供全企业决策者使用的过程中，起到非常广泛的作用。

大数据与数据仓库的异同

大数据时代的到来，确实对传统的数据仓库认知产生了重大的影响。什么是大数据？大数据的“大”实际上并不是最令人关注的特征。大数据是很多不同格式的结构化、半结构化、非结构化和原始数据，在某些情况下看起来与过去 30 年来我们存储在数据仓库中清一色的标量数字和文本完全不同。从另外一个角度来讲，小数据比较简单，有比较成熟的技术应对它。大数据是多种类型数据的组成，需要使用多种技术对待它。每一个识别和监测它的手段和方法是不一样的。

然而，很多大数据不能使用任何类似 SQL 这样的工具进行分析。对于企业及应用来说，数据仓库应用更加有效。两者并不形成替代，特别是银行业等行业里面，更多的是互为补充。

数据仓库的技术特点

被称为数据仓库之父的BillInmon在其著作《（Building the Data Warehouse））一书这样描述：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化（Time Variant）的数据集合，用于支持管理决策。可以从两个层面对数据仓库的概念进行理解，一是数据仓库是面向分析处理的，主要用来支持决策制定；二是数据仓库包含历史数据，是对多个异构的数据源数据按照主题的集成，它的数据相对固定，不会经常改动。

面向主题的：数据仓库的数据都是按照一定的业务主题进行组织的，面向主题体现在数据仓库的建设中，而且还包含在业务数据分析和存储上。

集成的：数据仓库中的数据来自各个不同的分散数据库中，它并不是对源数据库数据的简单拷贝，而是按照划分好的主题和数据分析要求，经过数据抽取、清理、汇总和整理等步骤，消除源数据中的错误和不一致的数据，保证数据仓库中数据的正确性和可用性。所以，它是整合集成的。

相对稳定的：数据仓库的稳定性体现在它的非易失性上，由于数据仓库是面向分析的，其中的数据是从业务数据中加载过来的历史数据，所进行的主要操作是查询和分析，供决策分析使用，所以其修改和删除操作很少，只需要定期的增量加载，所以具有相对稳定特征。

反映历史变化：数据仓库必须能够不断地捕捉业务系统中的变化数据，记录企业生产过程的各个阶段的信息，以满足决策分析的需要，所以必须实时地把新变化的业务数据追加到数据仓库中去，通过数据随时问变化的研究和分析，可以对企业的发展历程和未来趋势做出定量分析和预测。

选择实施方法

企业级数据仓库的实现通常有两种途径：一种是从建造某个部门特定的数据集市开始，逐步扩充数据仓库所包含的主题和范围，最后形成一个能够完全反应企业全貌的企业级数据仓库；另外一种则是从一开始就从企业的整体来考虑数据仓库的主题和实施。前一种方法是各个击破，投资少、周期短且易于见到成果，但由于该设计开始时是以特定的部门级主题为框架的，向其他的主题和部门扩充往往非常困难。而后一种方法恰恰相反：投资大、周期长，但是易于扩展。

以哪种方法进行实施，主要取决于各个行业和客户的实际情况。如电信和银行业，采用第二种方法比较可行，这是因为这两个行业业务发展变化快，为了能够适应将来的变化，整个数据仓库架构必须是可扩展的和易于维护的。如果只是基于部门级的需求去设计，将来肯定无法适应变化。如果重新设计，势必造成前期投入的浪费。对其他一些行业，如制造业和零售业，本着“急用先行”的原则，可以先从某一局部入手，慢慢扩展为数据仓库。

从技术上讲，以部门需求作为主要考虑因素建立的系统，它的数据量不会太大，会影响对将来数据膨胀风险的正确估计，当数据集市扩展到企业范围的时候，由于原有技术无法支撑新的数据规模，会造成数据装载和数据分析速度的降低，甚至达到不可用的地步。企业级的数据仓库会涉及更多的额业务系统，只有充分研究各业务系统，才能了解如何对不同格式、不同标准、不同接口的数据进行集成。

当然，对于第二种方法，也不是说把摊子铺的越大越好。合理的做法是“统筹规划，分步实施”。根据业务需求，把业务的主要方面都涵盖进去，确定彼此之间的联系；对于次要的需求，可以预留一些接口，以备将来细化。否则，如果整个调研周期拖得太长，等进入实施阶段，业务又发生变化，不得不重新修改设计，同样会造成浪费。

所以，先搭建好一个易于扩展且稳定的架构，在此基础上逐步实施，是一个兼顾长远发展与合理投入的最佳方式。此外，分步实施还可以减少风险：前一阶段的经验教训可以为下一阶段提供有益的借鉴，从而使得数据仓库的建设不断完善，不断发展。

结合先进技术 从业务需求出发

和其他的应用系统相比，数据仓库对于需求分析和系统设计等前期工作要求更高，其重要性也更加突出。可以说，分析和设计阶段决定了数据仓库最终的失败。因为需求不明确、设计不合理造成的根本性缺陷是以后实施阶段所无法弥补的。因此在分析和设计阶段，对相关的业务部门和技术部门要进行详细的调研，在用户和开发人员之间的迭代和反馈是必须和重要的，它决定了数据仓库最终的成功与否。

由于数据仓库是面向业务分析的，所以最主要的需求应该从业务部门获取和收集，因为数据仓库最终是要服务于业务部门的。需求抓的不准，导致将来将无法解决业务部门的问题，这个数据仓库项目就是失败的，技术再先进也没有用。这是衡量数据仓库成败与否的唯一尺度。

实施的过程中，最好能够把行业专家的经验，与企业现有的需求进行整合，以期得到一个更加全面的需求范围，有利于适应将来业务的变化和扩展。

从技术角度来讲，必须建立一个可伸缩、可扩展、高性能的数据仓库平台，才能为将来不断的完善、不断发展打下一个良好的基础；由于数据仓库项目要涉及多个业务系统，数据量非常庞大，所以本身的投入也是很大的，在保证系统高效稳定的前提下，尽量降低成本是非常重要的。

相关链接

数据仓库的类型

根据数据仓库所管理的数据类型和它们所解决的企业问题范围，一般可将数据仓库分为下列3种类型：操作型数据库（ODS）、数据仓库（Data Warehouse）和数据集市（Data Mart）。

操作型数据库（ODS）

既可以被用来针对工作数据做决策支持，又可用做将数据加载到数据仓库时的过渡区域。与 DW 相比较，ODS 有下列特点：ODS 是面向主题和面向综合的；ODS 是易变的；ODS 仅仅含有目前的、详细的数据，不含有累计的、历史性的数据。

数据仓库（Data Warehouse）

此种数据仓库被用来进行涵盖多种企业领域上的战略或战术上的决策。数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。

数据集市（Data Mart）

是一个从操作的数据和其他的为某个特殊的专业人员团体服务的数据源中收集数据的仓库。从范围上来说，其数据是从企业范围的数据库、数据仓库，或者是更加专业的数据仓库中抽取出来的。是数据仓库的一种具体化，适合特定企业中某个部门的具体需要。DM可以基于仓库建设也可以独立建设。