hadoop fs

1.调用Hadoop的文件系统Shell(FileSystem Shell)的命令格式:
语法:hadoop fs <args>:前提是位置位于hadoop/bin下,其中fs是参数,表示FS Shell,<args>是fs的子命令
2.使用FS Shell命令行管理文件:
mkdir  -创建目录

语法:hadoop fs -mkdir <paths>
例子:
hadoop fs -mkdir /user:在HDFS中创建"/user"目录

hadoop fs -mkdir /user/hadoop:在HDFS中创建"/user/hadoop"目录

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2:在HDFS中同时创建"/user/hadoop/dir1"和"/user/hadoop/dir2",目录
ls -查看列表文件

语法:hadoop fs -ls <args>
如果是文件,则按照如下格式返回文件信息:
文件名<副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID

如果是目录,则返回它直接子文件的一个列表
cat -查看文件

语法:hadoop fs -cat URI <URI...>:输出路径指定文件的内容
例子:
hadoop fs -cat /input2/file1.txt  /input2/file2.txt:在HDFS中查看input2目录下的file1.txt和file2.txt的文件内容
put -从本地文件系统中复制一个或多个文件到HDFS(外部命令)

语法:hadoop fs -put <localsrc>...<dst>
其中localsrc只能是本地文件,dst只能是HDFS文件,且不受fs.defaultFS属性影响。

例子:
hadoop fs -put /home/hduser/file/file1.txt /input2
-将本地文件复制到HDFS目录"input2"

hadoop fs -put /home/hduser/file/file1.txt /home/hduser/file/file2.txt /input2
-将多个本地文件复制到HDFS目录"input2"

hadoop fs -put - /input2/file3
-从标准输入中读取输入,按Ctrl+C组合键退出并保存到"file3"
get -复制HDFS文件到本地系统(外部命令,是put命令的逆操作)

语法:hadoop fs -get <src><localdst>
其中src只能是HDFS文件,localdst只能是本地文件,且同样不受fs.defaultFS属性影响

例子:
hadoop fs -get /input2/file1.txt /sa/file
-将HDFS目录"input2"下的file1.txt文件复制到本地系统目录"sa"下的file文件夹中
mv -移动、剪切命令

语法:hadoop fs -mv URI [URI...] <dest>:将文件从源路径移动到目标路径,允许多个源路径,目标路径必须是一个目录

例子:
hadoop fs -mv /input2/file1.txt /input2/file2.txt /user/hadoop/dir1
-将HDFS上"input2"文件夹中的file1.txt和file2.txt文件移动到"/user/hadoop/dir1"文件夹中
cp -复制命令

语法:hadoop fs -cp URI [URI...] <dest>:将文件从源路径复制到目标路径,允许多个源路径,目标路径必须是一个目录

例子:
hadoop fs -cp /input2/file1.txt /input2/file2.txt /user/hadoop/dir1
-将HDFS上"input2"文件夹中的file1.txt和file2.txt文件复制到"/user/hadoop/dir1"文件夹中
rm、rmr -删除文件

1.rm命令
语法:hadoop fs -rm URI [URI...]
删除指定的文件,只删除非空目录和文件

例子:
hadoop fs -rm /input2/file1.txt
-在HDFS中删除input2文件夹下的file1.txt文件

2.rmr命令
语法:hadoop fs -rmr URI [URI...]
rm的递归版本,整个文件夹及子文件将全部删除
例子:
hadoop fs -rmr /user/hadoop/dir1
-在HDFS中直接删除" /user/hadoop/dir1"路径中dir1文件夹及该文件夹中的子文件
test、du、expubge -管理命令

1.test命令
语法:hadoop fs -test -[选项] URI
选项:
 -e:检查文件是否存在,如果存在则返回0,不存在返回1;
 -z:检查文件是否存在内容,有内容返回1,没有内容返回0(检查文件的大小是否是0字节,文件大小是0字节返回0,不是0字节返回1);
 -d:检查路径是否为目录,如果是则返回1,不是则返回0.

例子:
hadoop fs -test -e /input2/file1.txt 
-检查文件是否存在
echo $?   -#"$?"是Linux变量,存储上一条命令的返回值,"echo $?"表示输出命令行返回的数值。

2.du命令
语法:hadoop fs -du URI [URI...]
-显示目录中所有文件的大小

例子:
hadoop fs -du /input2
-在HDFS中显示input2文件夹的大小,如果是目录则列出所有文件及其大小

hadoop fs -du /input2/file1.txt
-在HDFS中显示input2文件夹下fil1.txt文件的大小,如果是目录则统计总大小

3.expunge命令
语法:hadoop fs -expunge
-清空回收站
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,039评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,426评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,417评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,868评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,892评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,692评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,416评论 3 419
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,326评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,782评论 1 316
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,957评论 3 337
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,102评论 1 350
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,790评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,442评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,996评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,113评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,332评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,044评论 2 355

推荐阅读更多精彩内容