首页 > 范文大全 > 正文

大数据环境下的网络协同创新平台及其应用研究

开篇:润墨网以专业的文秘视角,为您筛选了一篇大数据环境下的网络协同创新平台及其应用研究范文,如需获取更多写作素材,在线客服老师一对一协助。欢迎您的阅读与分享!

〔摘要〕大数据环境下,对网络信息资源进行深度开发与利用,有利于挖掘信息资源价值,并协同创新主体完成知识、技术创新。本文通过阐述网络协同创新对信息资源开发利用的需求,结合大数据分析技术,展现网络信息资源的协同创新作用。最后,结合大数据的背景构建网络协同创新平台以及描绘协同创新平台3种应用路径,来展现网络协同创新平台的作用和应用前景。

〔关键词〕大数据;网络信息资源;协同创新;平台

DOI:10.3969/j.issn.1008-0821.2013.10.017

〔中图分类号〕G250.72〔文献标识码〕A〔文章编号〕1008-0821(2013)10-0075-05

《国家中长期科学和技术发展规划纲要(2006-2020年)》中提出把科技进步作为经济社会发展的首要推动力量,把提高自主创新能力作为调整经济结构、转变增长方式、提高国家竞争力的中心环节,把建设创新型国家作为面向未来的重大战略选择。创新的内涵,不仅包括知识创新,还包括技术创新。知识创新具有自发性、自由性,但技术创新是知识创新的支撑,并为知识的发展划定了边界,影响着知识的发展方向[1]。要实现知识创新和技术创新,必须结合大数据的背景,把网络信息资源开发与利用凝聚到创新中去。随着互联网上数据的不断增多,海洋一般浩瀚的网络数据已成为一种战略资源。大数据并不简单是海量的数据,通常是指解决问题的一种方法,即通过收集、整理生活中方方面面的数据,并对其进行分析挖掘,进而从中获得有价值信息,最终衍化出一种新的商业模式。工信部的物联网“十二五”规划上,把信息处理技术作为4项关键技术创新工程之一被提出来,其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据技术的重要组成部分。大数据技术的目标,就是从这些数据中挖掘信息、判断趋势、提高效益。因此,知识创新和技术创新要求开发利用网络信息资源,实现网络协同创新。

1大数据环境下的网络协同创新

随着新兴信息技术与应用模式的涌现,使全球数据量呈现出爆发式增长态势。美国国家科学基金会(NSF)将大数据定义为“由科学仪器、传感设备、互联网交易、电子邮件、音视频软件、网络点击流等多种数据源生成的大规模、多元化、复杂、长期的分布式数据集”[2]。在大数据环境下,“知识”的概念已经被泛化,网络信息资源不再局限于人脑所存储的知识,网络上的情绪反馈、网页之间的链接关系、网页的点击量等等都可以加以提炼,成为新的知识。目前,大数据的开发与利用已经在医疗服务、零售业、金融业、制造业、电信等行业广泛展开,呈现了巨大的社会价值和宽广的产业空间。充分开发利用网络资源既是客观要求,也是提高社会资源配置、支撑国家创新体系的有效手段。

1.1网络协同创新中的信息需求

由于网络信息资源价值具有来源广泛、多模态、可增值的特性,因此对其进行开发不仅可以促进网络协同创新系统的完备,也有利于充分调动参与主体的积极性,对社会也有极大的溢出效应。协同创新对网络信息资源有“天然”的需求。

随着信息社会的迅猛发展,知识创新、技术创新的过程变得日益纷繁复杂,而且创新活动所涉及的领域也日渐增多。从创新组织中的单位和个体来讲,对网络信息资源进行开发利用有利于实现资源最优配置。资源配置帕累托最优的一个条件是拥有充分的市场。也就是说,要想获取理想的资源配置,市场中的所有产品都必须有价格,没有价格的市场意味着市场不完备,或者同时导致市场丧失[3]。因此,实现信息的最优配置是有代价的,而加入到一定的创新网络组织既是创新组织个体规避创新竞争风险、增强创新竞争力的有效途径,也是其充分利用社会资源、提高创新效率的明智选择。建设创新型国家,需要社会各方创新力量的共同努力来协作实现。而在新的时代背景下,只有网络协同创新才能更快、更好、更有效率地实现知识、科技创新,支撑国家创新体系,才能更快地实现建设创新型国家的宏伟目标。

1.2网络协同创新运作机理

协同创新是各个创新要素的整合以及创新资源在系统内的无障碍流动。协同创新是以知识增值为核心,以企业,高校科研院所,政府,教育部门为创新主体的价值创造过程[4]。在大数据环境下,网络协同创新是指企业、政府、高校及科研机构、中介机构和用户等创新主体为了实现知识和科技创新而充分利用网络信息资源而开展的大跨度整合的创新组织模式。网络协同创新的过程是基于网络信息资源传播共享之上的创新主体有目的、有意识的价值创造过程。创新主体之间的知识转移的最终目的就是为了实现信息资源的价值增值。

传统的协同创新包括“产学研”创新、区域产业创新等等,虽然同样着重于知识和技术的开发与利用,但是这个创新的过程中知识的概念是狭隘的,传统协同创新运行机理已不适应于网络协同创新。互联网上网页存档、用户点击、网页链接、商品信息、用户关系等数据形成了持续增长的海量数据集,这些多模态信息扩充了知识的范畴。创新主体通过转移知识,充分开发利用网络信息资源,以完成创新主体的目的,实现价值增值过程。知识转移价值增值是一个组织将知识转移到另一个组织的过程中,通过知识的使用和创新来带动和提升相关活动,进而实现知识价值的过程[5]。组织之间的网络信息资源的转移共享为丰富信息供应链提供了基础。浩瀚的网络信息资源经过积累、创新、扩散,并经过创新主体的吸收消化,最终以多元价值的形式表现出来。在积累阶段,通过组织内部已有知识以及网络信息资源的积累,搭建网络协同创新的平台,为知识转移营造良好的背景,并为后续的知识创新奠定基础;在创新阶段,通过大数据分析技术,对网络信息资源的共享和吸收,并与原有的知识加以融合,将新知识应用于市场生产经营中,实现网络信息资源的价值增值;在扩散阶段,网络信息资源商品化后的产品,通过满足用户的需求,并获得新的网络信息资源。在价值增值过程中,信息资源开发技术为网络信息资源的开发、更新提供了保障,而知识的更新同样为网络信息资源开发技术提供智力支持。为保证网络信息资源得到高效、全面的开发利用,创新主体之间需要保持战略上高度一致、协同发展。

2大数据环境下网络协同创新平台构建

构建网络协同创新平台有利于充分发挥网络协同创新的作用,平台通过利用大数据技术对网络信息资源开发,服务于创新主体。

2.1网络协同创新的关键技术

网络信息包含大量非结构化数据,并且数据量扩张迅猛,因此传统的信息处理方式显得心有余而力不足。大数据分析技术却能高效率的处理网络信息,其主要技术包括Hadoop平台、HDFS分布式文件系统、Map Reduce并行编程模型以及H-Base数据库。通过搭建开源的Hadoop平台,在网络信息数量尤其巨大的时候,HDFS提供接口让程序将自己移动到离数据存储的更近位置。在靠近要被计算的数据所存储的位置来进行计算,这样消除了网络的拥堵,提高了系统的整体吞吐量。Map Reduce的目的是为了大型集群的系统能在大数据集上进行并行工作,Map Reduce簇可以通过替换函数和提供新的数据源来重新使用,而无需每次都对整个应用进行编译,测试和部署。处理后的数据存入H-base,减少数据冗余。通过以上信息处理手段,信息使用用户可将网络信息高可靠、高容错、高扩展、高效率处理。信息使用主体对信息进行处理,归根到底是为了发掘信息的价值,将信息进行深度的整合从而实现经济效益、社会效益等。通过发现数据之间紧密的关系或松散的耦合,为信息的深度聚合乃至辅助决策都是非常重要的。数据挖掘就是从数据库、数据仓库或其他信息库中的大量数据中挖掘有趣知识和信息的过程[6]。通过数据挖掘技术从大量原始数据中发掘出隐含的、有用的信息和知识,帮助决策者寻找数据间潜在的关联,发现被忽略的因素,从而为各种应用提供服务。信息资源整合不仅需要数据库内的数据实现聚类,同样要进行跨数据库的信息聚合,实现信息价值的最大化。在大数据环境下,要将数据挖掘、整合技术与云平台进行结合。在分布式计算模型下,使用的是云计算模式,算法的实现采用 Map Reduce的方式,从而实现并行的要求;同时,在这一阶段,数据挖掘的数据也是来源于云平台,使用的是HDFS[7]。

2.2网络协同创新平台框架

创新平台可定义为由政府或某一组织牵头,通过政策支撑、投入引导,汇集具有科技关联性的多主体创新要素,形成一定规模的投资额度与条件设施,便于开展关系到科技重大突破、长远发展、国家经济稳定需要的创新活动,以支撑行业和区域自主创新与科技进步的集成系统[8]。网络协同创新平台的重点在于网络信息资源的开发和价值增值,而过程中产生的知识创新、技术创新也会带来极大的溢出效益。

网络信息资源包含有大量的非结构化信息,包括网络上的多模态信息,还包括用户使用网络生成的各类信息,例如网络上的情绪反馈、网页之间的链接关系、网页的点击量等等。网络信息资源要经过加工成为新知识,尤其是成为符合协同创新组织的知识,需要利用现有技术,通过协同创新平台的进一步融汇。网络信息资源一方面要通过大数据分析技术加以提炼,另一方面通过组织内部知识积累形成。新知识生成后再一次成为可获取的知识,并对技术创新提供基础。在此过程中,知识创新和技术创新同步展开,知识创新为技术创新提供基础,技术创新对知识创新提供支撑,两者协同发展。要使网络协同平台高效运转,需要保证战略、协调、沟通、合作4个方面顺利进行。创新主体之间必须战略协同,主体之间的矛盾不可避免,如果战略不能达到一致,信息资源的积累、开发可能陷入僵局,利用价值将十分有限。通过合作的方式,既能有效减少创新主体之间的矛盾冲突,也能保障网络信息资源的进一步处理。在创新主体之间发生矛盾冲突时,需要主体之间进行有效的、双向的沟通,当沟通无效时,有相应机制来协调创新主体。4个方面构成组织协同,促进网络协同创新平台健康高效发展。

3网络协同创新平台应用路径

网络协同创新平台同样涉及到应用的问题,基于行业、地域和需求视角下,设计了3种不同应用路径,结合自身优劣势,选择恰当路径,并采取策略促进网络协同创新平台健康发展。

3.1应用路径分析

使信息资源协同创新平台化,是开发网络信息资源的有效有段之一。过去“产学研”形式、企业孵化器等形式为大数据环境下探索提供了经验。构建平台的目的是实现创新资源投入产出效益最大化,确定应用路径应考虑创新平台的使命,创新主体的关联类型、关联程度、合作意愿,还要考虑对网络信息资源的开发利用的需求是同步还是渐进。基于以上考虑,提出以下3种应用路径:

(1)基于行业的网络协同创新平台的着力点在于将行业的需求、发展与协同创新结合起来。其中,研究与开发创新是创新平台的核心,需要对创新资源进行整合,尤其是网络信息资源。通过挖掘网络信息资源,发现行业的新需求、新动向,预测行业发展前景,从而委托联合政府或高校、科研院所进行项目开发,满足行业发展的需求。科技成果产业转化平台是该创新平台最直观的展现,对照行业需求和现实科技成果,不断进行调试。行业网络协同平台不必受空间的限制,可实现跨区域的协同整合。

(2)基于地域主导的网络创新平台网络化应用路径是指在政府的引导示范下,充分利用企业的优势创新资源,面向区域科技创新需求,使网络信息资源适应于地域特色。创新主体对网络信息资源的开发要注意其可持续发展性,信息资源的价值挖掘要促使区域经济发展,对周边也可进行辐射,带动当地经济发展。区域网络协同创新平台也需要考虑当地配套设施建设,尤其是信息基础设备的建设。

(3)基于需求的平台的应用路径是指在市场引导下,充分利用高校、科研机构的科研能力,大力发挥大中型企业在平台建设中的作用,引导中介机构和实力较弱的中小企业参与,利用包括网络信息资源在内的优势创新资源,面向需求,大力开展基础研究,建立联合开发关系,构建协同创新平台。需求协同平台以市场需求对导向,网络信息资源需在各个环节参与,以实现及时响应市场。

3.2应用路径设计

网络协同创新的应用路径和网络信息资源挖掘程度、创新主体相互关系以及创新主体内部的资源能力条件有着密不可分的关系。因此要明确网络协同创新的应用路径,首先要依据协同组织进程,将网络协同创新平台演化过程分成战略规划阶段、协同发展阶段和固化阶段3个阶段。在战略规划阶段,确定平台的使命至关重要。平台是以实现网络信息资源最优配置为目标,还是促进区域内经济发展为目标,在这个阶段网络协同平台没有形成具体的应用形式,各个参与主体都希望实现自身效益能达到最大。信息资源开发程度低,还处于积累阶段。进入协同发展阶段时,创新主体对网络信息资源的需求起关键作用。同样在平台协同阶段,创新主体的类型和彼此间的关系也会对平台自组织进程。创新主体类型包括高校、科研机构、信息服务中介机构、企业、政府、金融机构等等。创新主体的类型直接影响到创新主体之间的关系。创新主体之间是否存在强弱对比,当存在强势的创新主体时,该创新主体对平台的演化的影响力就提高了。创新主体的合作意愿,共同利益的比重有多少。创新平台是为了实现知识创新、技术创新,这需要创新主体之间联合合作,而合作的水平高低往往取决于共同利益,共同利益也同样的影响创新主体的合作意愿。参与意愿、共同利益也直接影响到创新平台的质量高低。在这个发展阶段,网络信息资源开始融汇,经济价值进一步得到开发,信息资源也得到创新,促进知识、科技创新。平台演化至固化阶段时候,网络信息资源进入扩散阶段,即网络信息资源价值得以实现。平台存在3种具体的应用路径,包括基于行业的平台、基于需求的平台、基于地域的平台。如图2所示:

3.3最优路径选择

网络协同创新主体在创新路径选择中发挥着关键性的作用。网络协同创新活动的参与者主要包括政府、企业、高校及科研院所、信息中介服务机构以及相关的社会组织,其中政府、企业是核心利益相关者和创新活动的主要投入者。对于网络信息资源挖掘活动,采用不同的网络协同创新路径模式时,政府、企业的收益是不同的。最终选择的协同创新路径模式应该是政府、企业均能得到满意的收益的路径模式。可以通过博弃分析,为创新路径模式选择提供决策参考。

政府通常作为平台构建的引导者,是网络协同创新活动的主要参与者之一,记作PG。网络协同创新活动是由多个企业的共同参与而实现的,这里将所有参与协同创新活动的企业看作一个整体,记作PE。设有N种可供选择的网络协同创新路径模式,对第i种网络协同创新路径模式(i=1,2,…,n)政府的创新资源投入量为σGi,企业的创新资源投入量为σEi。从而,政府和企业应对不同的网络协同创新路径模式的创新资源投入量集分别为:

政府的创新资源投入量集为σG={σG1,σG2,…,σGi,…,σGn},(i=1,2…,n);σG作为政府进行网络协同创新路径模式选择的策略空间。企业的创新资源投入量为σE={σE1,σE2,…,σEi,…,σEn},(i=1,2…,n),σE作为企业进行网络协同创新路径模式选择的策略空间。

对于第i种网络协同创新路径模式i(i=1,2,…,n),设政府的预期得益为ΠGi,企业的预期得益为ΠEi,从而:

对应政府的第j(j=1,2,…,n)种自主创新路径模式所对应的资源投入量,政府的收益为ΓG(i,j),则政府的得益函数记为ΠG=(ΓG(1,1),…,ΓG(i,i),…,ΓG(n,n))。对应企业的第j(j=1,2,…,n)种网络协同创新路径模式所对应的资源投入量,企业的收益为ΠEi,则企业的得益函数记为ΠE=(ΓE(1,1),…,ΓE(i,i),…,ΓE(n,n))。

由于网络协同创新活动要素投入高、投资风险大,因此,要在政府和企业之间形成均衡,必然需要两者进行博弈。企业和政府所选择的的策略既有可能相同,也有可能选择不同的创新路径。当各自选择的策略不同的时候,需要参与者沟通协调,进而选择对双方对最为有利的网络协同创新路径模式,从而高效地集成政府、社会的创新资源,创造最大的经济效益、社会效益。依据博弈论建路径策略的最优目标函数为:F(σ,Π)={Min(σG,σE),Max(ΠG(i,j),ΠE(i,j))。

当政府和企业双方在投入资源量最小,而获得的收益最大时,此路径便是最优路径。

3.4应用策略

在市场环境中,高新技术企业等重点优势企业将在网络协同创新平台发展中起重要作用。为鼓励和提高重点优势企业参与创新平台建设的积极性,政府可以通过设立专项经费、支持重点项目、金融优惠政策等方式鼓励有条件的重点优势企业独立创建平台,独立或共同开发网络信息资源。对于重点优势企业以外的企业来说,尤其是中小企业,要增强企业参与平台建设的意愿。政府可以鼓励中小企业形成企业联盟,通过项目合作、技术成果参与分配、技术作价入股等方式组建各类创新平台。在此过程中,需要明确参与企业应有的股权,保证企业的合法权益。纵观整个市场来说,采用联盟机制、战略合作等方式,加强企业间的信息交流,共同开发信息资源,有利于推进企业参与平台建设,建立运行的良好合作关系和信任机制。要建立网络协同系统,一是要解决契约、产权归属和非法行为约束等问题,建立正式的相关法律法规制度,规范并监督中小企业的参与行为。二是建立有效的进入和退出机制,允许中小企业按相关制度退出平台建设,保证企业退出但不影响平台的运行。三是要通过多种方式加强主体间的信息交流合作,推进合作关系良性发展。

4结束语

步入信息社会时代,由于云计算、大数据分析等的概念、技术的涌现,已使得利用网络信息成为可能。在大数据时代,深度开发、利用网络信息资源,使网络信息资源服务于网络协同创新,促进知识创新和技术创新。智能挖掘、深度整合网络信息资源正于商业竞争市场上展露其庞大的经济价值。网络信息资源的价值不仅仅限于商业用途,其可为社会上各个参与主体所挖掘。构建网络协同创新平台的目的不仅是为创新参与主体深度开发利用信息资源,扩大合作方式,而且将网络信息资源价值凝聚到国家创新发展中来,有效支撑国家创新体系建设。由于对网络信息资源的认识仍然不够深刻,对信息资源的开发聚合技术还处于发展阶段,相关配套设施和人才培养滞后于现实需求,实现网络协同创新还需要进一步的尝试和努力。

参考文献

[1]杨文明,韩文秀.论知识创新和技术创新的互动关系与作用机制[J].科学管理研究,2003,(12):42-44.

[2]Hilbert M,Lopez P.The worlds technological capacity to store,communicate,and compute information[J].Science,2011,332(6025):60-65.

[3]贾君枝.市场环境中的网络信息资源配置的影响因素[J].中国图书馆学报,2003,(2):49.

[4]陈劲,阳银娟.协同创新的理论基础与内涵[J].科学学研究,2012,(2):163-164.

[5]黄伟,吴洁,张朝宾,等.基于知识供应链的高校知识转移价值增值机理研究[J].情报杂志,2010,(7):88-92.

[6]Han,J.,Kamber,M..Data Mining:Concepts and Techniques(2nd Edition)[M].San Franeiseo:Morgan Kaufmann Publishers,2006(中译本:范明,孟小峰.数据挖掘:概念与技术(第二版)[M].北京:机械工业出版社,2007).

[7]杨宸铸.基于HADOOP的数据挖掘研究[D].重庆:重庆大学,2010,(10).

[8]洪晓军.创新平台的概念甄别与构建策略[J].科技进步与对策,2008,(7):7-9.

[9]赵杨.国家创新系统中的信息资源协同配置研究[D].武汉:武汉大学,2010,(5).

[10]李增辉.中国汽车产业多维评价模型构建与创新路径选择研究[D].武汉:武汉理工大学,2012,(5).