WordCount：统计一个或多个文件内每个单词的出现次数。
一般情况下，一个MapReduce程序主要包含三个部分：Map、Reduce和Drive。Map阶段主要负责将任务拆分到不同的节点上，各个MapTask是相互独立的，Reduce负责将Map阶段各个节点上的结果进行整合，Drive主要负责环境的配置信息以及连接Map和Reduce。
Map阶段
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
// map阶段
/*
输入参数：
KEYIN 输入数据的key类型
VALUEIN 输入数据的value类型
KEYOUT 输出数据的key类型
VALUEOUT 输出数据的value类型
*/
public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
Text k = new Text();
IntWritable v = new IntWritable(1);
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
// 1 获取一行
String line = value.toString();
// 2 切分单词
String[] words = line.split(" ");
// 3 循环写出
for (String word : words) {
k.set(word);
context.write(k, v);
}
}
}
- 所有的Map对象必须继承父类Mapper，重写map()方法。
- Mapper的参数为四部分：输入key-value的类型和输出key-value的类型。
- 要注意类型转换，Hadoop的类型为Text，IntWritable，需要转换为String和int。
Reduce阶段
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
import java.util.Iterator;
// Reduce阶段
/*
参数：
KEYIN map阶段的输出key类型
KEYOUT map阶段的输出value类型
*/
public class WordcountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
IntWritable v = new IntWritable();
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
// 1 累加求和
int sum = 0;
for (IntWritable value : values) {
sum += value.get();
}
// 2 写出
v.set(sum);
context.write(key, v);
}
}
- 所有的Reduce对象必须继承父类Reducer，重写reduce()方法。
- Reducer的参数分为四部分：map阶段的输出key-value类型和输出的key-value类型。
- values中存放了每个key的所有value，根据每个key会调用reduce()统计所有的出现次数。
Driver部分
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
public class WordcountDriver {
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
// 1 获取Job对象
Configuration conf = new Configuration();
Job job = Job.getInstance(conf);
// 2 设置jar存储位置
job.setJarByClass(WordcountDriver.class);
// 3 关联Map和Reduce类
job.setMapperClass(WordcountMapper.class);
job.setReducerClass(WordcountReducer.class);
// 4 设置Map阶段输出数据的key和value类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
// 5 设置最终数据输出的key和value
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
// 6 设置输入路径和输出路径
FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
// 7 提交Job
job.waitForCompletion(true);
}
}
- Driver主要负责具体的配置信息。
- 可以分为三个部分：
- 三个.class文件，分别为Driver类，Map类，Reduce类；
- 两个数据类型，Map阶段的输出key-value类型，最终输出的key-value类型；
- 一个路径：输入数据和输出数据的路径。
- 在设置输入输出路径时一定要注意包的选择：
org.apache.hadoop.mapreduce.lib.input和org.apache.hadoop.mapreduce.lib.output。 - 在运行时给args穿参时，一定要将路径写成实际文件的父文件夹。
实际文件：
e:/input/input.txt，应该写成：e:/input/。
- 输出的文件夹不能事先存在，否则会报错。
