移动通信网络中大数据处理的关键技术

开篇：润墨网以专业的文秘视角，为您筛选了一篇移动通信网络中大数据处理的关键技术范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘 要

随着社会的发展，移动通信网络也在不断进步，并且受到的广大群众的欢迎。但是与此同时也产生了大量的数据，那么如何对这些数据进行处理，这也成为了一大难题。本文主要是介绍大数据的相关概念以及发展历程，分析其所用的关键技术，并对“云计算”的现状进行深入解析。

【关键词】移动通信网络 大数据 关键技术 处理

1 大数据概念与特点

通常情况下，数据的产生可以分为三个阶段：

1.1 被动产生阶段

数据量出现第一次飞跃是在数据库刚刚产生的时候。在这个阶段，数据库还没有得到广泛使用，通常只是应用在政府或者是一些比较大型的企业中，比如用来处理大超市的销售记录、用来处理银行的大量交易数据等，一般都是为了运营活动而使用，所以这个时候的数据处于被动产生的状态。

1.2 主动产生阶段

数据量出现第二次飞跃是在互联网产生的时候，互联网用户量很多，每天都有很多人使用微博、QQ等聊天工具进行聊天，加上手机和电脑越来越智能化，越来越方便用户的使用，而在这个过程中，数据的产生是通过用户自愿完成的，此时的数据处于主动产生的状态。

1.3 自动产生阶段

数据量出现第三次飞跃是在数据能够自动产生的时候。在这个阶段，物联网与移动通信网络相互结合在一起，产生了很多传感设备，并且得到全球的广泛使用，数据是通过自动的方式来产生的，于是就迎来的大数据时代。

大数据通常有以下几个特点：

（1）大数据所包含的数据量很大。

（2）大数据并没有固定的结构，非结构化较强。

（3）大数据的来源很多，可以通过不同设备来进行采集。

（4）大数据可以在短时间内获得，具有实时性。

2 大数据处理的关键技术

在移动通信网络中， 特别是在物联网中，很多终端设备通常都是处于无人监控的状态，加上其所工作的环境大都是比较恶劣的，所以就使得物联网对这些数据进行采集时，会出现很多错误的数据，收集到的原始数据并没有很强的可靠性，比如一些数据与实际存在误差、一些数据收集不完整等，并且还有很多数据是多余的。所以，就应该通过各种方式来提取大量数据中比较有价值的数据。就目前而言，也产生了很多数据清洗技术，但是这些数据只适用于具有较强结构化的数据，大数据又是属于非结构性，所以并没有起到很好的作用。并且通过这种技术，也不能处理大量的数据，就使得大数据的实时性不能得到体现。所以，对于大数据的清洗技术还需要继续深入研究。

大数据的来源很多，把收集到的各方面数据融合在一起，这对于数据的分析很重要。数据融合也就是所收集到的数据源是不一样的，这些数据通过不同的表象来对实体进行表达，那么就要把这些数据转换成对同一个表象的表达，减少相关数据产生冲突的过程。而在移动通信网络中，很多数据都是具有多源性，所以就很有必要对其进行统一，使得各个数据之间产生关联性。那么就要具有结构化和非结构化两种数据关联在一起，然后再通过数据融合的方式来提取其中比较关键的数据。

经过对数据进行一系列的处理之后，包括清洗、提取和融合等，还应该分析从移动通信网络中所获得的大数据，并能够挖掘一些新的数据。想要分析并挖掘移动通信网络中的大数据，通常都要考虑到数据的表示以及数据储存两个方面。其中，还需要具有比较先进的挖掘工具，并且也要改善数据的开发环境，这对于大数据的处理来说非常重要。

对大数据进行处理的另一个关键技术就是通过可视化来分析数据。移动通信网络的数据量非常庞大，并且对其进行挖掘的结果也是一个大数据，而把这些数据进行可视化分析，就能够让人们更加容易理解这些数据，并能够对其进行更加深入的分析；同时，对这些数据进行可视化分析，可以促进人机交互的进行，通过人机交互的方式来对大数据进行处理，就能够大大的提高处理的能力，工作效率也明显增强。这对于大数据处理来说，具有比较实际的意义。

当然，移动通信网络中的大数据所要面临的挑战不仅仅包括以上这些，还包括大数据的安全问题，并且可能会涉及到一些隐私问题，所以就要加强数据管理手段，努力提高数据处理技术，实现大数据的有效管理。

3 “云计算”

通过以上的分析，我们很容易就可以看出，目前移动通信网络中的数据量越来越大，并且需要对大数据的分析也要求更加深入。所以这就给移动通信网络带来的更多的挑战，既要保证大数据的有效性，又要求其具有实时性。云计算也因此而产生了，它给移动通信网络中大数据提供了新的处理方法。

早在2004年的时候，谷歌公司就提出了MapReduce技术，这也成为了一个比较典型的云计算模型。这个模型主要就是针对大数据处理而产生，它可以对移动通信网络中的数据进行分析，于是就受到了各界人士的青睐。MapReduce主要包括三个技术框架：

（1）分布式文件系统；

（3）分析和处理并行执行引擎。

虽然在MapReduce推出之后，得到了各界人士的青睐，但是在运用MapReduce的过程中，还是出现的很多不足之处，比如MapReduce在使用过程中不支持图表功能，并且不能对数据进行存取优化等很多问题。遇到问题就要找出解决的办法，所以相关研究人员又对MapReduce作进一步的改进工作，使得其性能得到了更多的改善，并且也更加容易使用，具有更大的实用价值。

目前MapReduce在很多方面都得到了应用，并且也得到了各界的认可，承认它是一个能够有效地对大数据进行处理的工具。但是，它还是不够完善，在进行大数据处理的时候，还是出现一些缺陷，利用MapReduce来进行大数据处理时，它只能分批来完成；对于在线数据，MapReduce还无法实现处理功能。

4 总结

移动通信网络的出现，产生了越来越多的数据量，并且还在不断地增多。这些数据给各界带来了很多便利，但是同时也要面临大数据的处理的难题。目前对大数据处理的关键技术就是通过“云计算”来解决，但其还存在许多不足，希望能够得到进一步改善。

参考文献

[1]张铮.浅析网络大数据的采集和处理方法[J].信息系统工程，2015（10）.

[2]刘智慧，张泉灵.大数据技术研究综述[J]. 浙江大学学报（工学版），2014（06）.

[3]王秀磊，刘鹏.大数据关键技术[J].中兴通讯技术，2013（04）.

[4]李晨晖，催建明，陈超泉.大数据知识服务平台构建关键技术研究[J].情报资料工作，2013（22）：29-44.

作者单位

山西省通信管理局 山西省太原市 030002