Linux基本操作(包含hive和hadoop)

首先,创建一系列目录,方便说明个命令。创建完后使用 tree命令查看目录结构


image.png

一、终端命令提示符

hostname

作用:查看主机名字

image.png
.表示当前路径,..表示上级路径。此处的意思是显示date目录下的内容,如果显示date上级目录则要输入 ls ../data

二、查看文件信息:ls

ls是英文单词list的简写,其功能为列出目录的内容。

ls 
ls命令常用参数内容

输入方式:

ls -l 
ll
ll -h

第二行是第一行的简写,
作用:都可以查看目录下的内容(以及详细信息以及人性化的现实详细信息)


d开头的是文件目录,-开头的是具体文件.png

当目录的结构比较复杂时,与通配符连用以进行查找

image.png

三、切换工作目录: cd

cd home/

作用:切换工作目录,home为工作目录的名字,这里意思是切换到home目录下。


image.png

命令  含义
cd      #切换到当前用户的主目录(/home/用户目录),用户登陆的时候,默认的目录就是用户的主目录。
cd ~    #切换到当前用户的主目录(/home/用户目录)
cd .    #切换到当前目录
cd ..   #切换到上级目录
cd -    #可进入上次所在的目录

注意:如果路径是从根路径开始的,则路径的前面需要加上 “ / ”,如 “ /mnt ”,通常进入某个目录里的文件夹,前面不用加 “ / ”。

四、创建目录:mkdir

通过mkdir命令可以创建一个新的目录。参数-p可递归创建目录。

mkdir -p a/b/c #当前目录下创建目录a,a下有一级子目录b和二级子目录c

需要注意的是新建目录的名称不能与当前目录中已有的目录或文件同名,并且目录创建者必须对当前目录具有写权限。

ls、touch、mkdir

'mkdir -p a/b/c'意思是在a文件夹中创建b文件夹,在b文件夹中创建c文件夹。mkdir加上'-p'就可以实现递归的创建文件夹

五、创建文件: touch

touch hello.txt

注意:

  • 则会在当前路径下创建名字为hello.txt的空文件
  • Linux系统中没有严格的后缀(格式),所以创建文件时可以命名为任意的文件名

六、拷贝命令:cp

cp命令的功能是将给出的文件或目录复制到另一个文件或目录中,相当于DOS下的copy命令。

常用选项说明: cp [options] 源文件 目标位置


常用选项

强制执行

cp强制执行,frog001.txt文件强制拷贝到frogdata目录下并改名为frog002.txt

将frogdata目录下的文件和目录复制到frogdata2文件夹内

七、移动/重命名:mv命令

常用选项

frog001.txt改名为frog002.txt

八、显示当前路径:pwd

使用pwd命令可以显示当前的工作目录,该命令很简单,直接输入pwd即可,后面不带参数。


'cd ../..' 表示返回当前目录的上上层目录,这里正好到达根目录,通过'pwd'可以看出

九、tree:查看文件结构

tree 查看路径的所有文件夹结构,会把子层目录也显示出来


tree后面可以跟目录也可以不跟

十、history:查看历史命令

使用history命令下的已经写过的命令

十一、显示当前耗时进程:top

top
ctrl+c #作用:结束当前命令

十二、输出重定向命令:> 、>>

注意:>输出重定向会覆盖原来的内容,>>输出重定向则会追加到文件的尾部。

如果> />>后面的文件不存在会首先创建

选择当前目录下的frogdata目录,将查询结果覆盖到''../pos.txt''

十三、查看或者合并文件内容

查看文件内容

给frog001 .txt中写一些内容,vi命令Enter后按i,编写完成后按Esc,再按Shift+z+z,就完成编写了

image.png
查看两个文件内容

合并成一个文件pos.txt:cat frog001.txt frog002.txt > pos.txt

十二、分屏查看:more

查看内容时,在信息过长无法在一屏上显示时,会出现快速滚屏,使得用户无法看清文件的内容,此时可以使用more命令,每次只显示一页,按下空格键可以显示下一页,按下q键退出显示,按下h键可以获取帮助。


单个命令形成文件直接使用>即可,不需要使用cat >

按Enter显示一行,按空格显示一行,按q退出

十三、管道:|

管道:一个命令的输出可以通过管道做为另一个命令的输入。

管道我们可以理解现实生活中的管子,管子的一头塞东西进去,另一头取出来,这里“ | ”的左右分为两端,左端塞东西(写),右端取东西(读)。


按Enter显示一行,按空格显示一行,按q退出

十四、建立链接文件:ln

Linux链接文件类似于Windows下的快捷方式。

  • 软链接:软链接不占用磁盘空间,源文件删除则软链接失效。
  • 硬链接:硬链接只能链接普通文件,不能链接目录。

使用格式:

ln 源文件 链接文件
ln -s 源文件 链接文件
如果没有-s选项代表建立一个硬链接文件,两个文件占用相同大小的硬盘空间,即使删除了源文件,链接文件还是存在,所以-s选项是更常见的形式。

注意:

  • 如果软链接文件和源文件不在同一个目录,源文件要使用绝对路径,不能使用相对路径。
  • 如果源文件和软/硬链接文件的任意一个发生了修改,另一个也会自动修改。


    相对路径软链接的创建

    删除源文件,软链接无效了

    创建硬链接

十五、文本搜索:grep

Linux系统中grep命令是一种强大的文本搜索工具,grep允许对文本文件进行模式查找。如果找到匹配模式, grep打印包含模式的所有行。

grep一般格式为:
grep [-选项] ‘搜索内容串’文件名

在grep命令中输入字符串参数时,最好引号或双引号括起来。
例如:
grep 'a' 1.txt


常用选项

image.png

grep搜索内容串可以是正则表达式。

正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。

grep常用正则表达式:


image.png

十六、查找:find

常见用法

777权限就是所有用户都有rwx权限

用来在特定的目录下搜索符合条件的文件,也可以用来搜索特定用户属主的文件。

查找家目录下的pos.txt文件名的文件
命令

结果

十七、压缩:zip

通过zip压缩文件的目标文件不需要指定扩展名,默认扩展名为zip。
[图片上传中...(image.png-36b9ee-1602936864166-0)]

压缩文件:zip [-r] 目标文件(没有扩展名) 源文件
解压文件:unzip -d 解压后目录文件 压缩文件

把pos.txt文件压缩成pos.zip文件
把pos.zip文件解压到pos目录中,得到pos.txt文件

十八、更改权限:zip

“rwx” 这些权限用数字来代替

chmod 751 file: rwx + r-x + --x
文件所有者:读、写、执行权限
同组用户:读、执行的权限
其它用户:执行的权限


编辑模式的提示

注意:如果想递归所有目录加上相同权限,需要加上参数“ -R ”。 如:chmod 777 test/ -R 递归 test 目录下所有文件加 777 权限

十九、编辑文件:vim

  • 命令模式:打开文件,默认进入此模式,是通过命令的方式对文件进行编辑


    常用选项
vi命令进入命令模式

image.png
  • 插入模式,编辑模式:在命令模式中按i或者a进入插入模式,可编辑文本。​ 按esc退出编辑模式,进入命令模式


    image.png
  • 末行模式:命令模式按 : 进入末行模式,末行模式可在末行输入命令来管理文件,比如保存和退出文件


    常用选项
进入mysql数据库需要输入: 'mysql -u用户名 -p'来验证密码进入

退出

二十、hive命令以及 hadoop 命令

hadoop文件存储系统,hive记录表数据用什么方式解析变成表,数据实际是放在hadoop系统中。

作用:
hive命令:操作
hadoop命令:查看信息

1、hive

任意位置输入 hive 即可进入hive数据库

hive
show databases; #注意和linux命令不同,一定要加分号
进入hive数据库

2、hadoop

hadoop fs -ls /
查看hdfs 文件系统的目录结构
hadoop fs -ls /user/hive/warehouse #找到了.db文件所在的位置,就代表数据库存放在这里。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,287评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,346评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,277评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,132评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,147评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,106评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,019评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,862评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,301评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,521评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,682评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,405评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,996评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,651评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,803评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,674评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,563评论 2 352