hadoop 培训MapReduce执行流程教学PPT课件.ppt

MapReduce执行流程MapReduce基本流程*JobTracker(JT)和TaskTracker(TT)简介再论JobTracker(JT)和TaskTracker(TT)JobTracker:协作作业的运行taskTracker:运行作业划分后的任务Mapreduce原理1)))”Refund”个数JobTracker失败1)JobTracker失败在所有的失败中是最严重的一种。2)hadoop没有处理jobtracker失败的机制。--它是一个单点故障。3)在未来的新版本中可能可以运行多个JobTracker。4)可以使用ZooKeeper来协作JobTracker。TaskTracker失败1)一个TaskTracker由于崩溃或运行过于缓慢而失败,它会向JobTracker发送“心跳”。2)如果有未完成的作业,JobTracker会重新把这些任务分配到其他的TaskTracker上面运行。3)即使TaskTracker没有失败也可以被JobTracker列入黑名单。,map和reduce函数遵循如下常规格式:map:(K1,V1)→list(K2,V2)reduce:(K2,list(V2))→list(K3,V3)Mapper的接口:publicinterfaceMapper<K1,V1,K2,V2>extendsJobConfigurable,Closeable{voidmap(K1key,V1value,OutputCollector<K2,V2>output,Reporterreporter)throwsIOException;}Reduce的接口:publicinterfaceReducer<K2,V2,K3,V3>extendsJobConfigurable,Closeable{voidreduce(K2key,Iterator<V2>values,OutputCollector<K3,V3>output,Reporterreporter)throwsIOException;}//outputCollector是为了输出key/value对,//Reporter是用来更新计数和状态信息。,map和reduce函数遵循如下常规格式:map:(K1,V1)→list(K2,V2)reduce:(K2,list(V2))→list(K3,V3)Mapper的接口:protectedvoidmap(KEYkey,VALUEvalue,Contextcontext)throwsIOException,InterruptedException{}Reduce的接口:protectedvoidreduce(KEYkey,Iterable<VALUE>values,Contextcontext)throwsIOException,InterruptedException{}//Context是上下文对象,这里Context等同于OutputCollector和Reporter两个函数的功能。mapreduce的数据类型与java类型对应关系