伪分布式模式下运行mapreduce

在hdfs上创建/user目录,在其下面创建当前用户名命名的子目录。如当前用户是root,就创建/user/root

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/root

上传文件到hdfs

hdfs dfs -put etc/hadoop /user/root
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar grep /user/root/hadoop output1 'dfs[a-z]+'
hdfs dfs -get /user/root/output1/*
cat part-r-00000

直接在分布式文件系统上面查看文件

[root@hadoop hadoop-2.7.4]# hdfs dfs -cat output1/*
1       dfsmetrics
1       dfsadmin
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,010评论 19 139
  • 当数据量增大到超出了单个物理计算机存储容量时,有必要把它分开存储在多个不同的计算机中。那些管理存储在多个网络互连的...
    单行线的旋律阅读 1,963评论 0 7
  • Ubuntu的发音 Ubuntu,源于非洲祖鲁人和科萨人的语言,发作 oo-boon-too 的音。了解发音是有意...
    萤火虫de梦阅读 99,611评论 9 467
  • 昨晚深夜,跟朋友聊到了谈恋爱的事情。跟他说我不会在对方没喜欢我之前喜欢上他,确实 有的时候这个是不可控制的,但可以...
    Bella_w阅读 436评论 0 0
  • “我要做第二个巴菲特!” “我该怎么做才能成为像马克•伯格那样的人?” 你是不是也常常思考这样的人生难题? 不随大...
    李不妥阅读 369评论 0 2