营销稽查监控中ETL技术的应用探析

开篇：润墨网以专业的文秘视角，为您筛选了一篇营销稽查监控中ETL技术的应用探析范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

【摘要】随着我国社会经济的快速发展，电力事业得到了长足的发展，各行各业对电力的需求量也不断增加，电力营销在电力事业发展进程中发挥的作用越来越大。作为电力营销业务中关键的环节，营销稽查监控工作的有效性直接影响电力营销业务质量。etl上几乎在营销稽查监控系统中的应用，有效的实现了对各个系统数据的提取与分析，对保证营销业务质量具有重要的作用。本文在分析我国营销稽查监控系统应用现状的基础上，探讨ETL技术以及其在营销稽查监控系统中的具体应用，供有关人员参考。

【关键词】营销稽查监控;ETL技术;应用

营销稽查监控是电力营销业务中重要的组成部分，就是对电力营销各个环节的服务质量、工作质量等进行监控，目的在于保证电力营销过程中的有效管理，树立高质量的企业形象。ETL技术在电力营销稽查监控系统中的应用，能够实现对电力系统中相关数据的提取与分析，保证电力营销稽查监控工作的质量与效率。现阶段，我国电力事业正处于高速发展的新时期，加强对ETL技术在电力营销稽查监控中应用的研究具有十分现实的意义。

1.我国营销稽查监控系统应用现状

现阶段，我国一些较为发达的城市中，已经研发出营销稽查监控相关的系统，包括电力营销工作质量监控系统以及电费监控中心系统等。

其中，电力营销工作质量监控系统就是根据电力营销工作质量标准的制定，对营销各项工作进行质量评价的体系;电费监控中心系统就是电力企业管理部门，对电费相关指标进行采集、统计与处理，然后将各项指标用图形的方式展示出来，实现对电力营销业务的实施监控。随着我国信息技术的发展，计算机网络技术、通讯技术等信息化技术逐渐应用到电力营销稽查监控系统中，有效的提高了稽查监控的效率与质量，提高了用户的满意程度，对提高电力企业营销管理质量，促进电力事业发展具有重要的意义。

2.ETL技术概述

2.1 ETL概念

ETL就是数据抽取、清洗、转换与装载的过程，是数据仓库构建过程中重要的环节。用户从数据源中抽取需要的数据，清洗后将其按照事先预定好的数据仓库模型，完成数据的加载。在企业经营管理过程中，管理层希望能够对各种信息进行随时的访问，这就需要构建一个能够装载各种格式的内部数据以及外部数据，包括经营数据、历史数据、供应商数据、现行数据等等。由于数据源具有数量大、分散、不清洁等特点，所以不能直接使用，需要对这些数据进行有效的采掘分析，建立清洁的数据仓库。而这个环节需要靠ETL技术完成。

2.2 ETL技术作用

具体来说，ETL技术具有以下几点作用：

（1）对于企业来说，数据源主要包括客户信息、客户行为、生产系统数据以及相关信息数据。这些数据都以不同的形式在OLAP系统中分散，并且客户信息也都是也分散的形式存在于各个系统中的。如果对单个系统中的数据进行采掘分析，很显然是不全面的，得到了数据也不能为决策提供有力的依据。利用ETL技术，能够有效的解决这一问题，根据企业所需，将这些数据仓库集中起来，进行采掘与分析，保证了数据的全面性与准确性。

（2）由于数据的分散性，也会给数据带来不清洁问题。同一个客户信息在不同的系统中，数据不尽相同，有些数据的真实性有待商榷。并且分散的业务系统中相关数据不是面向决策的，而是面向业务的。通过ETL技术能够有效的解决数据不清洁问题，并通过转换功能将其转换为决策层所需要的数据类型。ETL技术通过数据集中、清洁与转换，将处理过的数据加载到数据仓库汇总，方便用户进行查询使用。

（3）数据仓库是面向整个企业数据应用中心的，企业每一个部门还需要构建独自的数据中心。数据中心的逐渐，需要根据每个部门的实际需求，从数据仓库中抽取有用的数据，并进行相应的加工处理。ETL能够为部门数据中心的构建提供有效的工具，提升其运行的效率。

2.3 ETL重要性

从数据仓库所处的位置就能看出ETL的重要性。数据仓库与传统的关系数据库不同，更加偏向于工程，而无较为严格的数学理论知识。正是由于数据仓库工程性的特点，使得可以将数据仓库运行过程分为四个方面，即数据采集方面、数据存储与管理方面、数据表现方面、数据仓库运行设计方面等。数据采集方面是数据仓库数据进入的入口。由于数据仓库属于相对独立的数据环境，数据导入数据仓库还需要通过抽取过程，首先利用ETL技术奖数据从外部数据源、联机处理系统、脱机数据存储介质中将所需数据抽取出来。在数据采集的过程中，涉及到数据复制、互联、转换、增量、调度等方面的内容。在数据采集过程汇总，由于对数据仓库中的数据没有同步同时的要求，所以抽取过程可以定时进行，但同时也需要合理科学的安排好数据相互顺序、执行抽取的时间等，确保数据仓库中相关数据的有效性。总而言之，ETL是数据仓库中不可缺少的一部分，对数据仓库发挥其应有的作用具有十分重要的意义。

2.4 ETL技术结构

ETL主要包括控制流以及数据流两个部分。其中控制流指的是ETL在调度过程中，也就是执行定时任务过程中，对相应的脚本、job进行的调度，主要包括对相关依赖的配置问题以及相关数据（日增、月增、日全、月全）等的加载问题。数据流：ETL过程，Extract即是从业务数据库中抽取数据，Transform即是根据业务逻辑规则对数据进行加工的过程，Load 即是把数据加载到数据仓库的过程 CE xtract-Transform-Load），关键就在T的处理上，这个过程的实现，可以用perk she lk存储过程等来实现，也可以用类似Sagent等ETL工具实现。

3.ETL技术在营销稽查监控系统中的应用

ETL过程实质上就是将分散的、海量的、不具备分析基础的、异构的低质量数据，通过一些列的数据过程，将其转换为优质、可供模式挖掘的结构化数据过程。在营销稽查监控系统中，数据抽取、采集、汇总、筛选等部分构成了整个ETL过程。其中汇总包括轻度汇总以及重度汇总两部分。

基础数据抽取就是根据相关数据模型，在每天特定时刻对各个业务模块中设计到的相关基础信息进行有序的整理、抽取，并进行冗余处理，将这些基础数据转换为明细数据，然后将其导入营销稽查数据库中。

轻度汇总就是将抽取后的数据，按照电压等级、单位、类型等方式哦进行汇总，为大数据量分析处理提供便利。

关于异构数据的筛选，就是根据营销稽查具体的需要，将电力营销中涉及的法规、营业规则等通过有效的转换，转换成算法规则，并将其中的字段信息与电力营销业务相关数据进行匹配，并编织成ORACLE储存。通过对相关数据存储过程，在营销稽查前对其进行明细汇总以及异构筛选，能够生成疑似问题，并将其保存。

在异构数据筛选后，需要对轻度汇总数据采取冗余数据方式进行再度汇总，最后生成固话数据，有利于数据的检索。主要用于运营展示及各类前台查询等响应速度要求高的功能使用。

在电力营销稽查监控系统中应用ETL技术，提高了稽查业务的效率与质量。现在每个月推送的电力稽查数据大约为一万多条，生成的疑似问题清单多大500万条，电力稽查数据库每个月使用空间上升至100G以上。

4.总结

电力营销是电力企业经营管理的关键环节，对整个电力企业的发展具有重要的作用。ETL技术能够将分散、不清洁的数据，通过数据抽取、清洁、转换、装载等一系列过程，将其集中起来，构建数据仓库，便于用户分析与查询。在电力营销稽查监控系统中，应用ETL技术，能够提升数据汇总、分析速度，提高检查监控工作的质量与效率，能够为电力企业重大决策提供有力的依据，促进了电力企业健康长远的发展。

参考文献

[1]袁伟.ETL技术在营销稽查监控的应用[J].管理科学与经济，2013，32（12）：124-125.

[2]国洪敏.浅谈综合信息平台业务系统的建设与应用[J].电力技术资讯，2013，24（4）：89-90.

[3]刘国栋，董汉良.电力营销稽查监控系统中ETL技术应用分析[J].电力企业，2013，36（7）：42-453.

[4]冯小刚，高圣远.工程营销业务应用标准化设计探索[J].东南大学学报，2012，15（11）：88-89.

[5]李建军，于晓波.ETL关键技术以及在电力营销稽查监控中的有效应用[J].电力科技信息，2013，36（15）：108-109.

[6]宋娜，李红梅.青海电力营销稽查监控系统主要构架设计与应用分析[J].电力信息化建设，2014，14（4）：162-163.