HDFS操作命令总结

bin/hadoop  fs   ==   sbin/hdfs  dfs  (这两个开头都可以,基本一样)



打开namenode,datanode

$sbin/start-dfs.sh (启动配置好的hdfs所有节点服务)



打开yarn

$sbin/start-yarn.sh   (启动配置好的yarn所有节点服务)



打开日志服务

$sbin/mr-jobhistory-daemon.sh   start  historyserver


在hdfs内创建上传和输出文件(可在50070下查看,忘记截图就算了)

$bin/hdfs dfs -mkdir -p  /user/hadoop/data

$bin/hdfs dfs -mkdir -p  /user/hadoop/output/


上传文件(bin/hdfs dfs -put  文件地址   hdfs地址)

$bin/hdfs dfs -put  /home/data/h.txt   /user/hadoop/data/


运行wordcount(输出目录需新建)

$bin/yarn  jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar    wordcount  /user/hadoop/data/h.txt    /user/hadoop/output/01


查看输出结果(part* ----只有一个开头为part的文件,所以直接显示全部)

$bin/hdfs dfs -text  /user/hadoop/output/01/part*


界面显示的全都忘记截图了,尴尬如你我他(localhost:50070)(localhost:8088)

千万记得关闭!!!

$sbin/stop-yarn.sh 

$sbin/stop-dfs.sh

$sbin/m-jobhistory-daemon.sh start historyserver


$jps (查看hdfs是否全部关闭)



最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容