用户名:50070
1,创建相关文件夹
hdfs dfs -mkdir -p /user/root
2,传输文件
hdfs dfs -put ./hadoop-2.6.5.tar.gz /user/root
3,定义block大小
hdfs dfs -D dfs.blocksize=1048576 -put test.txt
4,HA部署流程
2,3,4启动zookeeper zkServer.sh start
1,2,3 启动 JNN hadoop-daemon.sh start journalnode
1, namenode 格式化 hdfs namenode -format
1 namenode ,启动 hadoop-daemon.sh start namenode
2 hdfs namenode -bootstrapStandby namenode 跟进
1,格式化zkfc hdfs zkfc -formatZK
4,启动zookeeper zkCli.sh
1,start-dfs.sh 启动
5,Ha平常启动
2,3,4启动zookeeper zkServer.sh start
用完stop-dfs.sh
启动 start-dfs.sh
6,yarn 启动
1,start-yarn.sh
3,4 yarn-daemon.sh start resourcemanager
resourcemanager 端口号8088
7,执行jar包
hadoop jar hadoop_mapreduce_example.jar wordcount /user/root/text.txt /data/wc/output
hadoop_mapreduce_example.jar 是jar包名字 wordcount 为里面的类 /user/root/text.txt 为被执行文件 /data/wc/output 为输出文件 必须为空或不存在路径
也可
hadoop jar mywc.jar hadoop_MR.mywc
若类中写了输入输出路径,则可不写, hadoop_MR为package名,mywc为class名
8,查看输出结果
hdfs dfs -ls /data/wc/output
输出会有SUCCESS,表明输出是否成功 part -r-0000 r 表名是reduce文件 0000表名是第0个reduce
9,拷贝hdfs 到当前
hdfs dfs -get /data/wc/* ./
10
hdfs dfs -mkdir /class
hdfs dfs -put ./awk.txt/class 上传文件
hdfs dfs -copyFromLocal-f ./awk.txt /class 覆盖原文件
hdfs dfs-appendToFile ./text.txt /class/awk.txt 将数据追加到原文件末尾
11
显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息:
hdfs dfs -ls -h /class/awk.txt
12
在HDFS中,将文件从源路径移动到目的路径。
hdfs dfs -mv/class/awk.txt /data