下载此文档

MapReduce：Shuffle过程详解.doc

文档分类：IT计算机 | 页数：约3页举报非法文档有奖

1/3

下载提示

1.该资料是网友上传的，本站提供全文预览，预览什么样，下载就什么样。
2.下载该文档所得收入归上传者、原创者。
3.下载的文档，不会出现我们的网址水印。

同意并开始全文预览

(约 1-6 秒)

1/3 下载此文档

文档列表 文档介绍

MapReduce:Shuffle过程详解
Copy*SoffReduce
phasphasep2$e
1xMap任务处理
Denny❶
Iinput
Runningmaptask
partition
，，所以应该把绝大部分的内存都给Shuffle用。
：1）内存到内存2）内存到磁盘3）磁盘到磁盘。
o默认情况下第一种形式不启用。
。，,。第二种merge方式一直在运行，直到没有map端的数据时才结束。
o然后启动第三种磁盘到磁盘的merge方式，有相同的key的键值队，merge成group,，逬行分组，同一个分组的value放在一个迭代器里面（二次排序会重新设萱分组规则）。如果未指定GroupingComparatorClass则则使用Key的实现的compareTo方法来对其分组。group中的值就是从不同溢写文件中读取出来的,group后：^ellojl,1}><me,{1}xyou,{1}>
o最终的生成的文件作为Reducer的输入整个Shuffle才最终结束。
Reduce
oReducer执行业务逻辑，产生新的vk,v>输出，将结果写到HDFS中。
3、WordCount代码
packagemapreduce;
;
(.Configuration;
;
;
;
:
;
;
;
;
,:
;
;
publicclassWordCountApp{
stati

MapReduce：Shuffle过程详解来自淘豆网m.daumloan.com转载请标明出处.

MapReduce：Shuffle过程详解.doc

数据传输过程详解

sql存储过程实例详解 [存储过程详解]

sql存储过程实例详解 [存储过程详解]

过程FMEA详解

存储过程详解存储过程

数据传输过程详解

安装过程详解

数据传输过程详解

存储过程详解

系统启动过程详解