使用Docker运行hadoop

获取docker镜像

sudo docker pull sequenceiq/hadoop-docker:2.7.0

运行docker容器

sudo docker run -it --name hadoop --rm sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash

运行作业

在上一步命令执行后,我们就进入命令交互模式

# 先看一下是否测试数据已经存在
$ bin/hdfs dfs -ls /user/root/input

# 运行作业
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

# 查看作业执行结果
$ bin/hdfs dfs -cat output/*

# 清空执行结果
$ bin/hdfs dfs -rm output/*
$ bin/hdfs dfs -rmdir output/
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • docker基本概念 1. Image Definition 镜像 Image 就是一堆只读层 read-only...
    慢清尘阅读 8,839评论 1 21
  • 特别说明: 本人平时混迹于 B 站,不咋回复这里的评论,有问题可以到 B 站视频评论区留言找我视频地址: http...
    撸帝阅读 876评论 1 3
  • docker常用命令原理图概览: 按照docker官网上的说法,docker的文件系统分为两层:bootfs和ro...
    燕京博士阅读 3,006评论 2 32
  • 我们每个人都有一些想改掉的坏毛病,比如我,经常会掐点儿到或者迟到,虽然上课从未迟到过,因为属于教学事故后果太严重,...
    瑞瑞理心坊阅读 100评论 0 0
  • 忙完看到手机提醒,消息挤成一团。 看到一堆堆的消息我想起来好多,觉得这段话说出来可能更合适。 进心协将近两年了,心...
    深蓝不会写小说阅读 195评论 0 2