本文主要讲对key的排序,主要利用hadoop的机制进行排序。
1、Partition
partition作用是将map的结果分发到多个Reduce上。当然多个reduce才能体现分布式的优势。
2、思路
由于每个partition内部是有序的,所以只要保证各partition间有序,即可保证全部有序。
3、问题
有了思路,如何定义partition的边界,这是个问题。
解决办法:hadoop提供了一个采样器帮我们预估整个边界,以使数据的分配尽量平均。
背景:
阅读新闻
Hadoop 使用 MapReduce 排序 思路
本文主要讲对key的排序,主要利用hadoop的机制进行排序。 1、Partition partition作用是将map的结果分发到多个Reduce上。当然多个reduce才能体现分布式的优势。 2、思路 由于每个partition内部是有序的,所以只要保证各partition间有序,即可保证全部有序。 3、问题 有了思路,如何定义partition的边界,这是个问题。 解决办法:hadoop提供了一个采样器帮我们预估整个边界,以使数据的分配尽量平均。
|
推荐阅读
|