MapReduce 在服务器上运行

代码首先在本地测试成功后

需要改写一些,首先把输入输出改成 args[0] args[1]
如下:

FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
 mvn clean package -DskinTests

如果遇到mvn commond not found
执行

source ~/.bash_profile

编写脚本

hadoop jar /home/hadoop/lib/hadoop-train-v2-1.0.jar com.imooc.bigdata.hadoop.mr.project.mrServer.PageStatServerApp hdfs://hadoop000:8020/project/input/raw/ hdfs://hadoop000:8020/project/output/v1/pvstat/
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 1. Java基础部分 基础部分的顺序:基本语法,类相关的语法,内部类的语法,继承相关的语法,异常的语法,线程的语...
    子非鱼_t_阅读 31,898评论 18 399
  • 先保存起来免得地址失效https://nqdeng.github.io/7-days-nodejs/#6[http...
    Iterate阅读 4,790评论 0 10
  • 11.1入口函数和程序初始化 11.1.1程序从main开始执行吗 答案是否定的,具体请看P343~P344。 程...
    Stroman阅读 3,570评论 0 0
  • 第一部分 Python基础篇(80题) 1、为什么学习Python? Python相对于其他编程语言有很多优点: ...
    清清子衿木子水心阅读 5,667评论 0 1
  • 1 、一个".java" 源文件中是否可以包括多个类(不是内部类)?有什么限制?可以有多个类,但只能有一个 pub...
    尽人事听天命_6c6b阅读 1,066评论 0 0