大数据时代技术发展与创新架构研究

开篇：润墨网以专业的文秘视角，为您筛选了一篇大数据时代技术发展与创新架构研究范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

[摘要]：大数据作为云计算、物联网之后又电子信息行业又一大颠覆性的技术革命，其通过挖掘数据资产价值，成为提升国家治理能力、优化市场资源配置、提高市场主体决策水平的重要依据。通过对大数据技术创新体系和面临挑战的分析，结合当前创新驱动发展战略实施，认为应对大数据时代技术挑战，建设围绕大数据技术研发和应用开展全流程服务体系，是新形势下科技发展的关键内容。

[关键词]：大数据 技术创新 科技服务

中文图书分类号：F204 文献标识码：A 文章编号：

一、引言

当前全球已经全面进入信息时代，云计算、物联网等新兴IT技术的广泛应用，全球数据正以前所未有的速度在剧增，数据类型也变得越来越复杂。数据的深度分析和利用将对推动经济持续增长、提升企业的竞争力起到重要的作用。 大数据产业是基础产业，是国民经济和社会发展信息化的基础，对国家治理现代化、对企业创新决策、组织和业务流程、对个人生活方式都将产生巨大的影响。大数据积累拓展了科技创新的内容、丰富了科技创新的手段、深化了科技创新的应用。

二、大数据的提出与发展

（一）大数据的提出

早在1980年，著名未来学家阿尔文・托夫勒便在《第三次浪潮》一书中，称大数据为“第三次浪潮的华彩乐章”。大数据时代来临首先由数据丰富度决定的，社交网络兴起，大量的UGC（用户生成内容）内容、音频、文本信息、视频、图片等非结构化数据出现了。另外，物联网的数据量更大，加上移动互联网能更准确、更快地收集用户信息，比如位置、生活信息等数据。2012年，英国人维克托・迈尔・舍恩伯格在其著作《大数据时代：生活、工作与思维的大变革》中首次对大数据进行全面详细的阐述，他指出大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，将为人类的生活创造前所未有的可量化的维度，大数据已经成为了新发明和新服务的源泉，而更多的改变正蓄势待发。对于大数据的内涵，著名研究机构Gartner对于“大数据”给出的定义是：“大数据”是需要新处理技术与模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

（二）大数据对经济社会发展和技术创新影响

2012年7月，联合国了名为《大数据促发展：挑战与机遇》的大数据政务白皮书，指出大数据对于联合国和各国政府来说是一个历史性的机遇，可以使用极为丰富的数据资源，对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。对企业而言，一方面大数据时代网民和消费者的界限正在消失，企业边界趋于模糊，数据成为核心资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。另一方面，大数据成为许多公司竞争力的来源，未来可能整个行业的结构会发生改变，小企业最有可能成为赢家。如今的核心竞争力在于快速而廉价地进行大量的数据存储和处理。麦肯锡在一份名为《大数据，是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出：“对于企业来说，海量数据的运用将成为未来竞争和增长的基础。”

（三）世界范围内大数据技术创新与发展情况

1. 主要国家积极推动大数据技术创新和产业发展

2012年3月，美国联邦政府就在全球率先推出《大数据研究和发展计划》，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，并将“大数据战略”上升为国家战略。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分。英国将大数据列为战略性技术，推出一系列支持大数据发展举措。首先是给予研发资金支持。2013年1月，英国政府向航天、医药等8类高新技术领域注资6亿英镑研发，其中大数据技术获得1.89 亿英镑的资金，是获得资金最多的领域。日本政府把大数据作为提升日本竞争力的关键。日本在新一轮IT 振兴计划中把发展大数据作为国家战略的重要内容，新的ICT战略重点关注大数据应用技术。日本总务省2012 年7月推出了新的综合战略“活力ICT日本”，将重点关注大数据应用，并将其作为2013年六个主要任务之一，聚焦大数据应用所需的、社会化媒体等智能技术开发，以及在新医疗技术开发、缓解交通拥堵等公共领域的应用。中国大数据产业紧跟世界发展趋势，提前布局谋划。2011年12月，工信部《物联网“十二五”规划》，把信息处理技术作为4项关键技术创新工程之一，其中包括了海量数据存储、数据挖掘、图像视频智能分析，都属于大数据的重要组成部分。2012 年以来，科技部、发改委、工信部等部委在科技和产业化专项陆续支持了一批大数据相关项目。2013年2月5日，国务院出台了《推进物联网有序健康发展的指导意见》，从政策层面正式把大数据纳入到物联网产业领域。2014年《政府工作报告》明确提出，“以创新支撑和引领经济结构优化升级，设立新兴产业创业创新平台，在新一代移动通信、集成电路、大数据等方面赶超先进，引领未来产业发展。”

2. 数据科学研究不断深入

在大数据应用的技术需求牵引下，数据科学研究和人才培养引起各国重视。在“大数据行动计划”支持下，美国加州大学伯克利分校开发了完整的大数据开源软件平台“伯克利数据分析软件栈（Berkeley Data Analytics Stack），其中的内存计算软件Spark的性能比Hadoop 提高近百倍，对产业界大数据技术走向产生巨大影响。美国哥伦比亚大学和纽约大学、澳大利亚悉尼科技大学、日本名古屋大学、韩国釜山国立大学等纷纷成立数据科学研究机构；美国加州大学伯克利分校和伊利诺伊大学香槟分校、英国邓迪大学、中国香港中文大学等一大批高校开设了数据科学课程。

3. 技术创新出现新的特征

大数据时代，技术创新出现了一些新的特征。一是技术创新模式更加开放。大数据时代，科技创新不再是“闭门造车”，开放式创新是大数据时代下科技创新活动的显著特征，是实现以市场为主导的技术创新的重要途径。创新的“逆向反馈机制”逐步形成，以苹果公司为代表的高新技术产品外观设计和软件开发更加注重消费需求，研发部门设计理念基于庞大消费群体体验数据分析，因而获得更大的市场空间。二是技术创新领域进一步拓展。数据技术从早期在单机上处理单一类型数据，发展到当前在计算机集群上处理多类型数据，实现时间宽松的数据分析应用。随着数据量发展到PB、EB级甚至更大，并且要求更快的处理分析时间，大数据专用计算机、异地分布式计算机集群、多类型多来源数据的处理和分析、数据网络等复杂结构数据的分析、秒级时间分析等通用技术以及各种面向领域的应用技术是大数据技术的发展趋势。

三、大数据技术创新体系和内容

（一）大数据技术创新体系架构

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。当前，国际上大数据技术创新方面形成了独特的“信息原创――开源扩散――IT 厂商产品化――其他企业使用”特点。正是大数据的技术创新和应用推动相关制造业和软件产业发展。大数据时代下技术创新体系架构如下图：

（二）大数据技术创新内容

根据工业和信息化部电信研究院的《大数据白皮书（2014）》，大数据技术创新内容主要包括技术存储、计算和分析等技术。

1. 大数据存储管理技术

数据的海量化和高速增长特征是大数据对存储技术提出的首要挑战。这要求底层硬件架构和文件系统在性价比上要大大高于传统技术，并能够弹性扩展存储容量。大数据对存储技术提出的另一个挑战是多种数据格式的适应能力。格式多样化是大数据的主要特征之一，这就要求大数据存储管理系统能够适应对各种非结构化数据进行高效管理的需求，在不同应用环境下，将数据以合理、安全、有效的方式保存到存储介质上并实现有效访问，满足用户对数据保存在高性能、高可靠性和高扩展性等方面的需求。

2. 大数据并行计算技术

大数据的分析挖掘是数据密集型计算，需要强大的计算能力。与传统“数据简单、算法复杂”的高性能计算不同，大数据的计算是数据密集型计算，对计算单元和存储单元间的数据吞吐率要求极高，对性价比和扩展性的要求也非常高。传统依赖大型机和小型机的并行计算系统不仅成本高，数据吞吐量也难以满足大数据要求，同时靠提升计算机CPU 性能、增加内存、扩展磁盘等实现性能提升的纵向扩展的方式也难以支撑平滑扩容。

3. 大数据分析技术

在人类社会发展全部数字化数据中，仅有非常小的一部分数值型数据得到了深入分析和挖掘（如回归、聚类），大型互联网企业对网页索引、社交数据等半结构化数据进行了浅层分析。占总量近60%的语音、图片、视频等非结构化数据还难以进行有效的分析。

（三）大数据技术创新的挑战

1. 数据存储挑战

随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。硬件的发展最终还是由软件需求推动的，当前大数据分析应用需求正在影响着数据存储基础设施的发展。从另一方面看，这一变化对存储厂商和其他IT基础设施厂商都是潜在的市场机会。随着结构化数据和非结构化数据量的持续增长，以及分析数据来源的多样化，此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点，开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。

2. 数据收集的挑战

随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。从海量数据中“提纯”出有用的信息，这对网络架构和数据处理能力而言也是巨大的挑战。大数据将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。如何将数据信息与产品和人相结合，达到产品设计或服务优化是大数据商业模式延展上的挑战之一。

参考文献：

[1]工业和信息化部电信研究院.大数据白皮书（2014）[R]. 2014年5月.

[2] [英]维克托・迈尔・舍恩伯格，肯尼思・库克耶 著，盛扬燕，周涛 译. 大数据时代：生活、工作与思维的大变革[M]. 杭州：浙江人民出版社，2012年12月.

基金项目：2014年度中小企业发展专项资金科技服务项目“江苏省科技型中小企业孵化服务体系建设”（项目编号：14C26243201238）。

作者简介：付永红（1984-），男，江苏省高新技术创业服务中心，硕士研究生，研究方向为科技计划管理。