Map阶段结束后,Hadoop框架会处理:Partitioning ,shuffle 和sort,在这个阶段都会发生了什么?

2020-07-23 10:37发布

1条回答
wjmmjr
2020-08-24 20:50

大的方向来说,在这个阶段会将数据进行分区划分给不同的reduce处理计算,细节上会在到达reduce之前进行数据的分区,按照k进行字典排序,然后小文件合并、归并等操作。

一周热门 更多>