一、任务描述

我们有两个表，雇员表和部门表。
雇员表：

部门表：

它们由公共字段DeptName，所以有自然连接条件。
具体做法是，以DeptName相等与否为依据，将雇员表的每一行依次和部门表匹配，每次匹配成功即输出一行结果。最终输出自然连接结果如下表

二、MapReduce实现

1. Split&RR

这里假设每个表为一个Split（可以拆更多）。然后做RR将关系表转为键值对：表名为key，其他字段组成的元组为value（注意多字段写入元组，所以还是value而非value list）。
雇员Split&RR结果

<"雇员表", (("Harry", 3415, "财务"), 
            ("Sally", 2241, "销售"), 
            ("George", 3401, "财务"), 
            ("Harriet", 2202, "销售"))>

部门Split&RR结果

<"部门表", (("财务", Gem), 
            ("销售", Hans), 
            ("生产", Charles))>

2. Map

将Split&RR结果输入Map函数。因为有两个Split所以有两个Map任务。Map的输出格式为键值对，逻辑为：公共字段DeptName为key，value为表名和其他部分组成的元组。
雇员Map结果

<"财务", ("雇员表", (Harry, 3415))>
<"销售", ("雇员表", (Sally, 2241))>
<"财务", ("雇员表", (George, 3401))>
<"销售", ("雇员表", (Harriet, 2202))>

部门Map结果

<"财务", ("部门表", (Gem))>
<"销售", ("部门表", (Hans))>
<"生产", ("部门表", (Charles))>

3. Shuffle

将各Map中，有相同key的归并到一起，输出<key, value-list>格式。
雇员Shuffle结果

<"财务", <("雇员表", (Harry, 3415)), ("雇员表", (George, 3401))>>
<"销售", <("雇员表", (Sally, 2241)), ("雇员表", (Harriet, 2202))>>

部门Shuffle结果

<"财务", <("部门表", (Gem))>>
<"销售", <("部门表", (Hans))>>
<"生产", <("部门表", (Charles))>>

4. Reduce

Reduce的逻辑是：输入中，key相同，但value list中表名项不同value的做连接（注意Reduce是不直接记录输入从哪个Map来的，而且原始表可以拆分到更多Map中）；输出的key是新行号（比如这里假设要求以Empld升序排列），value就是把其他部分的元组和输入键合起来（注意表名只是用于判定，输出结果不需要）

<1, (Harriet, 2202, Hans, "销售")>
<2, (Sally, 2241, Hans, "销售")>
<3, (George, 3401, Gem, "财务")>
<4, (Harry, 3415, Gem, "财务")>

三、其他常见应用场景

关系代数运算（选择、投影、布尔、连接等）、矩阵运算、分组聚合运算等等。

四、执行方式

在Hadoop执行MapReduce任务的方式有很多。可以直接使用shell命令，也可以生成jar包，或者编写Python脚本；另外，Pig和Hive提供类SQL语句，框架可将其自动转换为MapReduce任务。用户可以酌情选择。

Reference:
https://www.icourse163.org/learn/XMU-1002335004#/learn/content?type=detail&id=1214310155&sm=1