首页 > 范文大全 > 正文

世界数据化的广度深度限度

开篇:润墨网以专业的文秘视角,为您筛选了一篇世界数据化的广度深度限度范文,如需获取更多写作素材,在线客服老师一对一协助。欢迎您的阅读与分享!

大数据代表了一种将世界数据化的思路

大数据代表了一种将世界数据化的思路。笼统地说,人类所有的历史、社会、知识、行为、态度等等,所有的一切都可以被看作是有待数字化的数据。这些数据由来已久,只是没有方法将其整合到一个统一的框架下进行分析。进入到互联网时代,各种数据更是以每年50%的速度增长,每两年便会翻一番。麦肯锡的研究认为,数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产要素。预计到2015年,全世界的数据总量将达到7.9ZB。这些数量庞大、种类繁杂并且仍在不断累积的数据在政府机构、企业组织甚至是公民的日常生活中沉睡,以往分析小数据的方法显然捉襟见肘,但是如果没有方法来唤醒它们,这些就只能是“数据垃圾”。

随着专门处理大规模数据的算法、非关系型数据库以及多类型大数据管理开源框架的研发,这些大规模的数据终于可以被利用起来。维克多·迈尔-舍恩伯格在《大数据时代》一书中对大数据提出了三组命题:要全体不要抽样,要效率不要绝对精确,要相关不要因果。这种论断似乎想说明大数据更注重“量”而不追求“质”。但实际上,大数据虽然相比较传统的数据处理理念确实出现了转变,但是并非如此截然相反。这三组命题对应到数据处理过程中分别是指处理器密度型还是数据密度型,数据量与模型复杂度关系以及算法逻辑。一般情况下,我们认为,因果性分析也是相关性分析的一种,当数据与算法日趋成熟之后,相关性分析必然会走向更为“直接”的因果分析。另一方面,根据相关研究发现,数据越大,精度越高,不同数据的精度分类会趋同,从而使得对于小数据至关重要的算法趋同,同时模型的复杂度越高,对于事物的预测情况也就越准确。

因此,大数据技术的战略意义是通过对大规模的数据进行专业化的处理,实现数据的“增值”。而所谓的“增值”,就是指可以通过大数据分析,找到事物内部或者事物之间潜在的关系形态。虽然大数据分析现在还只是刚刚起步,但一些研究成果已经足以让人惊讶不已。2010年美国东北大学的Alan Mislove博士领导的国家脉动(Pulse of the Nation)项目,通过对3亿条Twitter中的关键词进行追踪与分析,绘制了一幅反映美国各地区人们一天当中不同时段情绪波动的实时色彩图,研究清晰地显示出佛罗里达州确实是美国“最幸福”的地方。而2012年美国的总统大选,奥巴马的竞选团队在华盛顿数据极客的帮助下,通过集群分析的方法处理社交数据,从而建立起了更加准确的选民模型和竞选计划,再次成功地把握了选民的意愿,并最终赢得大选。

大数据运用的“深度”与“广度

大数据的成功基于大规模的数据覆盖和深度的分析挖掘,数据的规模——“广度”与分析的程度——“深度”,两者是相辅相成的。建立在这两个基础上的大数据应用,对于国家和社会而言,具有深远的意义。

首先,大数据为国家的政策决策、宏观调控提供了详细的动态资料,具有重要的参考价值。比如相比较国家的消费指数CPI,中国同时也是亚太地区最大的网络零售商淘宝网还有一个自己的“淘宝消费者价格指数”(TCPI)。用淘宝网商业智能部报告中的话来说,这一指数“比国家CPI更加敏感,TCPI的涨跌趋势比国家CPI超前,是‘春江水暖鸭先知’。”因此在官方对于社会发展各项指标的监测追踪与分析的渠道之外,补充以大数据为基础的信息数据,可以更加准确地把握社会的现实情况。

第二,大数据在商业价值链中将发挥重要的调节作用。相关研究表明,大数据的应用可使美国制造业的产品开发和组装成本降低50%,使零售业净利润增长60%。这对于制造业和零售业来说,影响和变化堪称是革命性的。此外,一些围绕数据分析的业务也将兴起:众包式的数据分析服务,包括可视化、关系型数据库供应,非关系型数据库(NoSQL)市场重组等都将成为新的经济增长点。

第三,大数据还可以在政府公共服务、民生医疗服务、维护社会安定、动态安全监管等领域发挥巨大作用。2011年美国麻省理工大学SENSEable City Lab开发的实时新加坡(LIVE Singapore!)项目,通过建立一个收集、细化、分布式的反映城市活动的实时数据开放平台,将公众自主生成的数据即时反馈显现出来,方便他们获得城市的实时信息,比如回家时间掌控、雨天打车信息、突发事件脱险、航班信息查询等等,以便公众及时作出应变,优化决策。

另外,未来大数据将成为下一轮的信息资源竞赛的核心。据悉,2011年美军加紧推进大数据研发计划,确定了“从数据到决策、网络科技、电子战与电子防护、工程化弹性系统、大规模杀伤性武器防御、自主系统和人机互动”等7个重点研究领域。2012年3月,奥巴马政府投资2亿美元运作“大数据研究与开发计划”以抢占数据资源开发利用的制高点。2012年5月,联合国“全球脉动”计划了《大数据开发:机遇与挑战》报告,英、德、法、日、加等发达国家都积极响应。我国也于2012年10月成立了首个专门研究大数据应用与发展的学术咨询组织——中国通信学会大数据专家委员会。

“数据权”:下一个公民应有且必需的权力

但不管大数据如何神奇,我们都要保持清醒的头脑,明确大数据的限度所在。一方面,大数据确实可以为我们的政治决策、经济调控、社会服务、个人生活提供高效的参考,但却并非可以一劳永逸地解决所有问题。而且在人类建构外部世界和寻求自身发展的过程中,大数据也只是提供了一种解决问题的方案,而并非永久性地消除了问题。尤其是在社会科学领域,社会问题的产生关涉到历史、社会结构与社会权力等方方面面,是很难仅仅通过“数据分析”就能解决的。

另一方面,大数据的分析基础是对个体和群体,历史和现状,行为和态度进行搜集和监测的数据,而且从理论上说,数据越详细、越丰富、覆盖面越广,结合深度的分析挖掘,就越能够精确地把握和预测个体和集体的实际情况与行为态势。换句话说,如果可以全方位地获得某一个体或群体的所有数据,基本上就可以以“全息”的方式模拟再现本体。但是,是否可以没有限度地任意搜集个体的信息?对于搜集到的信息,如何保证这些数据的安全?由谁来守护这些数据?如何能够保证对于这些数据的分析和挖掘不会侵害个体与社会的安全?这些问题作为大数据美妙的应用前景的暗面,时时提醒我们这一“魔法”既有可能造福众生,也有可能危及个人与国家的安全。可以说,这在世界范围内都是一个难题。

随着全球资本与信息的互联,大型网络公司对于历史文献资料的数据化,商业集团对于客户资料的搜集,政府部门对于个人信息的调查与掌握,社会化媒体对于社会交往的渗透与呈现,大数据的生成与流动已经成为必然。那么下一步,更需要考虑的就是如何来保证这些数据的安全。这不仅涉及到国家层面的维护、领土安全、军事机密等,也涉及商业集团的商业机密、专利权利,还切实地涉及到个体的隐私保护、人身安全等。同时也要尽量避免数据的人为垄断,形成信息孤岛。由于现今互联网技术高度发达,理论上任何在互联网或电子设备上的文字、图片、地理信息等都可以被第三方获取,除了在技术上采用对数据加密、物理删除等方式外,通过法律的形式保护个体和集体的数据安全更成为关键。“数据权”有望成为下一个公民应有且必需的权力。如何高效、适度地开发和使用大数据,不仅仅是一个技术问题,也是一个社会问题。

(作者为复旦大学新闻学院教授、博导)

责编/袁静 美编/李祥峰