java -jar运行MR程序

1、一般的做法都是使用hadoop jar的形式提交任务。
vi bin/hadoop.jar

image.png

其实内部调用了RunJar.java 用来读取hadoop环境参数,配置文件等

2、现在想用单纯的java -jar来提交MR任务到yarn也是可行的

3、打个胖包。


image.png

4、java -jar wc-fat.jar /day08-wc/input/wc.txt /day08-wc/output3
报错:

image.png

胖包里面没有配置文件。
把输入输出文件当成local模式的了。

5、下载集群的配置文件到本地Eclipse src目录下。

image.png

6、指定本程序的jar包所在的本地路径

//job.setJarByClass(WordcountDriver.class);
   job.setJar("/home/hadoop/lib/wc-fat.jar");

再次执行即可:
java -jar wc-fat.jar /day08-wc/input/wc.txt /day08-wc/output4

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容