大数据应用的技术体系及潜在问题

开篇：润墨网以专业的文秘视角，为您筛选了一篇大数据应用的技术体系及潜在问题范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要：大数据处理流程包括：数据获取、数据集成、数据分析和解释3个阶段。大数据应用的技术和系统包括：云计算及其编程模型M

>> 大数据的概念、技术及应用 大数据的潜在影响及制度需求 农业大数据技术的特点及应用 面向电力大数据的数据质量监测体系研究及应用 浅谈大数据的应用和问题 浅谈大数据挖掘技术的应用 大数据在智能电网中的技术应用体系和路线图 浅析大数据的应用及发展 大数据环境下NoSQL的数据存储技术及应用 图书馆大数据技术应用及关键问题研究 图书馆大数据技术应用及关键问题分析 大数据时代的Oracle数据压缩技术应用 大数据时代下数据挖掘技术的应用 数据库技术在大数据中的应用 基于大数据的数据挖掘技术与应用 大数据时代的数据挖掘及应用 大数据技术应用及发展趋势 运营商大数据技术及应用 交通大数据及应用技术研究 传统媒体应用大数据技术需注意的问题 常见问题解答 当前所在位置：l.

[6] Big Data Across the Federal Government [EB/OL]. [2012-10-02]， http：//www.whitehouse.gov/sites/default/files/microsites/ostp/big_data_fact_sheet_final_1.pdf.

[7] DEAN J， GHEMAWAT S. MapReduce： Simplified data processing on large clusters [C]//Proceedings of the 6th USENIX Symposium on Operating System Design and Implementation （OSDI’04）， Dec 6-8，2004，San Francisco， CA，USA. Berkeley， CA， USA： USENIX Association， 2004：137-150.

[8] GENOVESE Y， PRENTICE S. Pattern-based strategy： Getting value from big data [R]. Gartner Inc， 2011.

[9] LABRINIDIS A， JAGADISH H V. Challenges and opportunities with big data [J]. Proceedings of the VLDB Endowment（PVLDB）， 2012，5（12）：2032-2033.

[10] WANG L， TAO J， KUNZE M. Scientific cloud computing： early definition and experience [C]//Proceedings of the 10th IEEE International Conference on High Performance Computing and Communications（HPCC’08）， Sept 25-27， 2008， Dalian， China. Piscataway， NJ，USA： IEEE， 2008：825-830.

[11] FOSTER I， ZHAO Y， RAICU I， et al. Cloud computing and grid computing 360-degree compared [C]//Proceedings of the Grid Computing Environments Workshop（GCE’08）， Nov 12-16，2008， Austin， TX，USA. Piscataway， NJ，USA： IEEE， 2008：10p.

[12] RADI M， DEZFOULI B， BAKAR K A. Multipath routing in wireless sensor networks： Survey and research challenges [J]. Sensors， 2012， 12（1）：650-685.

[13] GILBERT E P K， KALIAPERUMA B L. Research issues in wireless sensor network applications： A survey [J]. International Journal of Information and Electronics Engineering， 2012，2（5）：702-706.

[14] ZHAI J， WANG G N. An anti-collision algorithm using two-functioned estimation for RFID tags [C]//Proceedings of the International Conference on Computational Science and Its Applications （ICCSA’05）：Vol 4， May 9-12，2005， Singapore. LNCS 3480. Berlin， Germany： Springer-Verlag， 2005：702-711.

[15] CHA J， KIM J. Novel anti-collision algorithms for fast object identification in RFID system [C]//Proceedings of the 11th International Conference on Parallel and Distributed Systems （ICPADS’05）：Vol 2，Jul 20-22，2005， Fuduoka， Japan . Los Alamitos， CA，USA： IEEE Computer Society， 2005：63-67.

[16] VOGT H. Efficient object identification with passive RFID tags [C]//Proceedings of the 1st International Conference on Pervasive Computing（Pervasive’02）， Aug 26-28， 2002，Zurich， Switzerland. Berlin， Germany： Springer-Verlag， 2002：98-113.

[17] HUSH D， WOOD C. Analysis of tree algorithm for RFID arbitration [C]//Proceedings of the 1998 IEEE International Symposium on Information Theory（ISIT’98），Aug 16-21，1998， Cambridge， MA， USA .Piscataway， NJ，USA： IEEE， 1998.

[18] MYUNG J， LEE W. An adaptive memoryless tag anti-collision protocol for RFID networks [C]//Proceedings of the 24th Annual Joint Conference of the IEEE Computer and Communications Societies （INFOCOM’05）：Vol 3， Mar 13-17， 2005， Miami， FL， USA. Piscataway， NJ，USA： IEEE， 2005.

[19] CHOI H， CHA J， KIM J. Fast wireless anti-collision algorithm in ubiquitous ID system [C]//Proceedings of the 60th Vehicular Technology Conference （VTC-Fall’04）： Vol 6， Sep 26-29，2004， Los Angeles， CA，USA. Piscataway， NJ， USA： IEEE， 2004：4589-4592 .

[20] KODIALAM M， NANDAGOPAL T. Fast and reliable estimation schemes in RFID systems [C]//Proceedings of the 12th Annual International Conference on Mobile Computing and Networking （MOBICOM'06）， Sept 24-29，2006， Los Alamitos， CA，USA. New York， NY，USA： ACM， 2006：322-333.

[21] KODIALAM M， NANDAGOPAL T， LAU W. Anonymous tracking using RFID tags [C]//Proceedings of the 26th Annual Joint Conference of the IEEE Computer and Communications （INFOCOM’07）， May 6-12，2007， Anchorage， AK，USA. Piscataway， NJ，USA： IEEE， 2007：1217-1225.

[22] QIAN C， NGAN H， LIU Y. Cardinality estimation for large-scale RFID systems [C]//Proceedings of the 6th Annual IEEE International Conference on Pervasive Computing and Communications （PerCom’08）， Mar17-21， 2008， Hong Kong， China. Piscataway， NJ，USA： IEEE， 2008：30-39.

[23] GHEMAWAT S， GOBIOFF H， LEUNG S T. The Google file system [C]//Proceedings of the 19th ACM SIGOPS Symposium on Operating Systems Principles （SOSP’03）， Oct 19-22， 2003， Bolton Landing， NY， USA. New York， NY， USA： ACM， 2003：29-43.

[24] HDFS Architecture Guide [EB/OL]. [2013-01-08]. http：///cdh4/cdh/4/mr1/hdfs_design.pdf.

[25] Lustre [EB/OL]. [2013-02-12]. http：//.

[26] BEAVER D， KUMAR S， LI H C， et al. Finding a needle in haystack： Facebook’s photo storage [C]//Proceedings of the 9th USENIX Symposium on Operating System Design and Implementation （OSDI’10），Oct 4-6， 2010， Vancouver， Canada. Berkeley， CA， USA： USENIX Association，2010：47-60.

[27] CHANG F， DEAN J， GHEMAWAT S， et al. Bigtable： A distributed storage system for structured data. [C]//Proceedings of the 7th USENIX Symposium on Operation Systems Design and Implementation （OSDI’06）， Nov 6-8，2006， Seattle， WA， USA. Berkeley， CA， USA： USENIX Association， 2006：205-218.

[28] PAVLO A， RASIN A， MADDEN S， et al. A comparison of Approaches to large scale data analysis [C]//Proceedings of the 35th ACM SIGMOD International Conference on Management of Data（SIGMOD’09）， Jun 29-Jul 2， 2009，Providence， Rhode Island.New York， NY， USA：ACM， 2009：165-178.

[29] STONEBRAKER M， ABADI D ， DEWITT D J， et al. MapReduce and parallel DBMSs： Friends or foes？ [J]. Communications of the ACM， 2010，53（1）：64-71.

[30] Greenplum MapReduce [EB/OL]. [2012-12-21]. http：///technology/MapReduce.

[31] Asterdata MapReduce [EB/OL]. [2012-12-21]. http：///resources/MapReduce.php.

[32] Hive[EB/OL]. [2012-12-21]. http：///.

[33] OLSTON C， REED B， SRIVASTAVA U， et al. Pig Latin： A not-so-foreign language for data processing [C]//Proceedings of the 34th ACM SIGMOD International Conference on Management of Data（SIGMOD’08）， Jun 9-12， 2008， Vancouver， Canada. New York， NY， USA：ACM， 2008： 1099-1110.

[34] ABOUZEID A， BAJDA-PAWLIKOWSKI K， ABADI D J， et al. HadoopDB： An architectural hybrid of MapReduce and DBMS technologies for analytical workloads [C]//Proceedings of the 35th International Conference on Very Large Data Bases （VLDB’09）， Aug 24-28， 2009， Lyon， France. New York， NY，USA：ACM， 2009： 922-933.

[35] Vertica [EB/OL]. [2012-11-03]. http：///the-analytics-platform/native-bi-etl-and-hadoop-MapReduce-

integration/.

[36] The Internet Map [EB/OL]. [2012-12-18]. http：///.

[37] PAELKE V， DAHINDEN T， EGGERT D， et al. Location based context awareness through tag-cloud visualizations [C]//Proceedings of the Joint International Conference on Theory， Data Handling and Modelling in GeoSpatial Information Science（ISGIS’10）， May 26-28，2010， Hong Kong， China. New York， NY， USA：ACM， 2010 290-295.

[38] VI?GAS F B， WATTENBERG M， DAVE K. Studying cooperation and conflict between authors with history flowvisualizations [C]//Proceedings of the ACM Conference on Human Factors in Computing Systems（CHI’04）， Apr 24-29， 2004， Vienna， Austria. New York， NY， USA：ACM， 2004：575-582.

[39] SWEENEY L. k-anonimity： A model for protecting privacy [J]. International Journal of Uncertainty， Fuzziness and Knowledge- based Systems， 2002， 10（5）： 557-570.

[40] DOMINGO-FERRER J. Micro aggregation for database and location privacy [C]//Next Generation Information Technologies and Systems： Proceedings of the 6th International Workshop on Next Generation Information Technologies and Systems（NGITS’06）， Jul 4-6，2006，Kibbutz Shefayim， Israel. LNCS 4032. Berlin， Germany： Springer-Verlag， 2006：106-116.

[41] ROY I， RAMADAN H E， SETTY S T V， et al. Airavat： Security and privacy for MapReduce [C]//Proceedings of the 9th USENIX Symposium on Operation Systems Design and Implementation （OSDI’10）， Oct 4-6， 2010， Vancouver， Canada. Berkeley， CA， USA： USENIX Association， 2010.297-312.

[42] BOWERS K D， JUELS A， OPREA A. Proofs of retrievability： Theory and implementation [C]//Proceedings of the 1st ACM Workshop on Cloud Computing Security Workshop（CCSW’09）， Nov 13，2009， Chicago， IL，USA. New York， NY，USA： ACM， 2009：43-54.

[43] CHEN Z J， ZHAO Y， LIN C， et al. Accelerating large-scale data distribution in booming Internet： Effectiveness， bottlenecks and practices [J]. IEEE Transactions on Consumer Electronics， 2009，55（2）：518-526.

作者简介

窦万春，南京大学计算机科学与技术系、南京大学软件新技术国家重点实验室教授、博士生导师；主要从事云计算、服务计算等方面的研究工作；已主持或参与完成基金项目8项已发表学术论文60余篇。

江澄，南京大学计算机科学与技术系在读硕士研究生；研究方向为服务计算、云计算等。