Hadoop报告.doc

:..电子科技大学成都学院云计算系实践专周设计报告课程名称::组长学号姓名:组员学号姓名:组员学号姓名:科学与技术2015年12月目录HYPERLINK\l"_Toc438023300"第1章 引言 1HYPERLINK\l"_Toc438023301" 1HYPERLINK\l"_Toc438023302" 1HYPERLINK\l"_Toc438023303" 1HYPERLINK\l"_Toc438023304"第2章 相关技术介绍 2HYPERLINK\l"_Toc438023305" 2HYPERLINK\l"_Toc438023306" 2HYPERLINK\l"_Toc438023307" 3HYPERLINK\l"_Toc438023308"第3章 环境搭建 4HYPERLINK\l"_Toc438023309" 4HYPERLINK\l"_Toc438023310" 5HYPERLINK\l"_Toc438023311" 5HYPERLINK\l"_Toc438023312" 5HYPERLINK\l"_Toc438023313" 6HYPERLINK\l"_Toc438023314" 7HYPERLINK\l"_Toc438023315"第4章 号码统计 8HYPERLINK\l"_Toc438023316" 8HYPERLINK\l"_Toc438023317" 8HYPERLINK\l"_Toc438023318" 8HYPERLINK\l"_Toc438023319" 9HYPERLINK\l"_Toc438023320" 9HYPERLINK\l"_Toc438023321" 11HYPERLINK\l"_Toc438023322"第5章 倒排索引 13HYPERLINK\l"_Toc438023323" 13HYPERLINK\l"_Toc438023324" 13HYPERLINK\l"_Toc438023325" 13HYPERLINK\l"_Toc438023326" 14HYPERLINK\l"_Toc438023327" 15HYPERLINK\l"_Toc438023328" 16HYPERLINK\l"_Toc438023329"第6章 测试和总结 17HYPERLINK\l"_Toc438023330" 17HYPERLINK\l"_Toc438023331" 18HYPERLINK\l"_Toc438023332"致谢 ,编写Map/Reduce程序。,运行,调试Map/Reduce程序,编写两个搭建在Hadoop平台下的应用程序。1)对所有拨打至同一号码的所有来电号码进行统计输出。2)使用倒排索引,对不同文档下的内容进行处理,指出出现的所有字段所在的文档和重复的次数,并将结果输出。,配置Hadoop环境,安装JDK配置JAVA环境,安装Eclipse,配置Eclipse并导入Hadoop-eclipsejar包,编写Map/Reduce程序。。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(ess)文件系统中的数据。Hadoop的框架最核心的设计