简述MapReduce的执行过程。
简述MapReduce的执行过程。
【正确答案】:答:首先,对输入的数据源进行分块,交给多个Map任务去执行,Map任务执行Map函数,根据某种规则对数据分类,写入本地硬盘;然后,进入Reduce阶段,在该阶段由Reduce函数将Map阶段具有相同Key值的中间结果收集到相同的Reduce节点进行合并处理,并将结果写入本地磁盘。程序的最终结果可以通过合并所有Reduce任务的输出得到。其中,Map函数和Reduce函数是用户根据应用的具体需求进行编写。P187
Top