分组器

分组器:

WritableComparator

中英文的意思不是很一致。

分组器的作用:

Reduce处理的是相同key的一组数据。

但是我们知道 shuffle的时候,不同的key会分发到同一个reduce之中。

所以如何将不同的key的数据之间进行区分,

就是使用了分组器。

内部的分组器的工作原理:

reduce内部记录的key之间进行排序,同一个key的数据,由于key是相同的,

所以并列排在一起。


自定义分组器:


这里注意 构造函数,一定要调用super(),父类的构造函数。

传入的参数 是 Reduce 的 键.class

这里的BBKey.class

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容